Entwicklung und Test von Driver/In-Cabin- Monitoring-Systemen (DMS/IMS)

• Viele seriengefertigte Produkte (COTS) zum Anschluss gängiger Kameratypen
• Integration von DMS-spezifischen Kamerasensoren wie NIR (Near InfraRed)
• Beginnen Sie jetzt mit der Entwicklung Ihrer Anwendungen, um die DMS-Anforderungen für NCAP (2023) und die Neuzulassung von Lkw und Bussen ab 2024 zu erfüllen.
• Einfache Einbindung von Python-basierten KI-Algorithmen für robustere Lösungen
• Bringen Sie Ihr DMS-System schneller auf den Markt, indem Sie ein Framework für die Entwicklung und den Test multimodaler Sensoranwendungen verwenden.

Aufgabe

Die Überwachung des Fahrerstatus (DSM) wird ab 2023 fester Bestandteil des europäischen Programms zur Bewertung von Neuwagen (Euro NCAP) für Pkw sein. Von den DSM-Systemen wird erwartet, dass sie Ablenkung, Müdigkeit und Unaufmerksamkeit des Fahrers erkennen. Ab 2024 werden Müdigkeits- und Aufmerksamkeitswarner für die Zulassung neuer Lkw und Busse sowie das EU-Warnsystem für Fahrerablenkung für die Typgenehmigung vorgeschrieben sein. Ab Stufe 3 des automatisierten Fahrens wird die Bedeutung der Fahrerüberwachung zunehmen, wobei noch mehr Kameras und 60-GHz-Radarsensoren in der Kabine installiert werden.

Herausforderung

Um den Fahrerstatus zu erkennen, kann eine DSM-Anwendung die Ausgabe verschiedener Fahrzeugfunktionen auswerten, z. B. Spurhaltung, Lenkbewegungsanalyse oder Blinkerbetätigung. Die wertvollsten Daten werden jedoch von Kameras im vorderen Bereich des Fahrzeugs geliefert, die den Fahrer beobachten. Um ungünstige Lichtverhältnisse zu überwinden, werden häufig spezielle NIR- oder NIR+NGR-Kameratypen eingesetzt. Ein wichtiges Thema ist die Robustheit der Erkennungsanwendung. Bei den Tests der Erkennungsqualität müssen verschiedene Bedingungen berücksichtigt werden. Zum Beispiel Alter und Geschlecht des Fahrers, Brille, Gesichtsbehaarung und Okklusion, aber auch das Verhalten des Fahrers wie Essen, Sprechen oder Lachen. Ein vielversprechender Ansatz zur Überwindung dieser Schwierigkeiten ist die Verwendung von Deep-Learning-Algorithmen und spezifischen Trainingsdaten.

Lösung

Das Multisensor-Entwicklungsframework RTMaps bietet einen blockbasierten Ansatz, der es Ihnen ermöglicht, Sensoren wie Kamera oder Radar zusammen mit den entsprechenden Fahrzeugbussen einfach in Ihr Setup zu integrieren. Sie können eine breite Palette von Sensortypen und Buskomponenten aus der COTS-Bibliothek ziehen, sie mit Ihrer DMS-Anwendung verbinden und mit wenigen Klicks ausführen. Sie können alle Sensoren, die nicht in der Bibliothek enthalten sind, mit Hilfe einer dokumentierten API und Implementierungsbeispielen anfordern oder sogar integrieren. RTMaps bietet einzigartige integrierte Funktionen, die die resultierenden asynchronen Eingangsdatenströme verschiedener Typen Ihrem DMS-Algorithmus zeitkorreliert zur Verfügung stellen. Dies ermöglicht die Datenfusion als wesentliche Voraussetzung für eine effiziente Erkennung des Fahrerstatus. Das Entwicklungsframework unterstützt nativ die Skriptsprache Python, die für die Entwicklung von KI-Algorithmen weit verbreitet ist, und ermöglicht die schnelle Integration von Deep-Learning-Funktionen, um die anspruchsvollen Anforderungen an äußerst robuste Fahrerüberwachungsfunktionen zu erfüllen. Eine große Anzahl von Funktionen in RTMaps ermöglicht es Ihnen, Ihre Validierungsaufgaben weiter auszuführen. So können Sie beispielsweise eine KI-gesteuerte DMS-Funktion mit einer Vielzahl echter oder realistischer synthetischer Daten füttern, um ihre Robustheit zu testen – und das alles mit nur einem Tool.