Développer et tester les systèmes de surveillance du conducteur/de l’habitacle (DMS/IMS)

• Nombreux produits du commerce pour connecter les types de caméras communs
• Intégration de capteurs de type caméra spécifiques au DMS comme le NIR (Near InfraRed)
• Commencez à développer vos applications dès maintenant pour répondre aux exigences DMS pour NCAP (2023) et à la nouvelle approbation des camions et bus à partir de 2024
• Incluez facilement des algorithmes d’IA basés sur Python pour des solutions plus robustes
• Commercialisez votre système DMS plus rapidement en utilisant une structure conçue pour développer et tester des applications de capteurs multimodaux

Tâche

La surveillance de l’état du conducteur (DSM) fera partie intégrante du programme européen pour l’évaluation d’automobiles neuves (Euro NCAP) pour les voitures particulières à partir de 2023. Les systèmes DSM doivent pouvoir détecter la distraction, la fatigue et l’absence de réactivité du conducteur. À partir de 2024, un avertissement de somnolence et de vigilance du conducteur sera nécessaire pour l’approbation des nouveaux camions et bus, tout comme le système avancé d’avertissement de distraction du conducteur de l’UE pour l’approbation du type. Pour la conduite automatisée de niveau 3 et supérieur, l'importance des cas d'utilisation de surveillance du conducteur augmentera, avec encore plus de caméras et de capteurs radar 60 GHz installés dans l'habitacle.

Défi

Pour détecter l’état du conducteur, une application DSM peut évaluer les performances des différentes fonctions du véhicule, telles que le maintien dans la voie, l’analyse du mouvement de direction ou l’activation des clignotants. Toutefois, les valeurs les plus précieuses sont fournies par des caméras placées dans l’habitacle à l'avant du véhicule et qui observent le conducteur. Pour surmonter les mauvaises conditions d'éclairage, des types de caméras spécifiques NIR ou NIR+NGR sont souvent utilisés. Un enjeu clé est de s'attaquer à la robustesse de l'application de détection. Différentes conditions doivent être prises en compte lors du test de la qualité des détections. Par exemple, l'âge et le sexe du conducteur, le port de lunettes, la présence d’une barbe, d’un masque, ainsi que le comportement du conducteur, par exemple s’il mange, s’il parle ou s’il rit. Une approche prometteuse pour surmonter ces difficultés est l'utilisation d'algorithmes d'apprentissage profond et de données d'apprentissage spécifiques.

Solution

L’environnement de développement multicapteurs RTMaps offre une approche par blocs qui vous permet d’intégrer facilement des capteurs dans l’habitacle comme une caméra ou un radar avec les bus véhicule pertinents dans votre configuration. Vous pouvez faire glisser une large gamme de types de capteurs et de composants de bus depuis la bibliothèque étagère, les connecter avec votre application DMS et les exécuter en quelques clics. Vous pouvez demander voire intégrer des capteurs qui ne sont pas dans la bibliothèque en utilisant une API documentée et des exemples de mise en œuvre. RTMaps fournit des capacités intégrées uniques qui exposent les flux de données d'entrée asynchrones de différents types à votre algorithme DMS de manière corrélée dans le temps. Cela permet la fusion des données comme condition préalable essentielle à une détection efficace de l’état du conducteur. La structure de développement soutient nativement le langage de script Python, qui est largement utilisé pour le développement d'algorithmes d'IA et vous permet d'intégrer rapidement des fonctions d'apprentissage profond pour répondre aux exigences difficiles liées aux fonctions de surveillance du conducteur très robustes. Un grand nombre de fonctionnalités incluses dans RTMaps vous permet de mieux effectuer vos tâches de validation. Par exemple, vous pouvez utiliser le rejeu de données pour alimenter une fonction DMS basée sur l'IA avec une multitude de données synthétiques réelles ou réalistes pour tester sa robustesse, et tout cela avec un seul outil.