开发和测试驾驶员/座舱监测系统（DMS/IMS）

• 有诸多已实现商业化的应用（COTS），可连接常见摄像头类型
• 集成NIR（近红外）等DMS特定摄像头传感器
• 即刻根据NCAP（2023）的DMS要求进行功能开放，从而确保在2024年之前通过新的卡车和公共汽车公告认证。
• 基于python的AI算法，打造更稳健的解决方案
• 用单个框架开发和测试多模态传感器应用，让您的DMS系统更快上市

任务

2023年起，驾驶员状态监测（DSM）将成为欧洲乘用车新车评估项目（Euro NCAP）的重要组成部分。DSM系统将用于监控司机是否存在注意力分散、疲劳和反应迟钝的行为。自2024年起，新的卡车和公共汽车需要具备驾驶员嗜睡和注意力警告系统才能通过认证审批，此类审批还包括欧盟高级驾驶员注意力分散警告。对于L3级及更高级别的自动驾驶而言，驾驶员监测用例日益重要，因此车厢内会安装更多摄像头和60 GHz雷达传感器。

挑战

为检测驾驶员状态，DSM应用程序可以评估不同车辆功能的输出，如车道保持、转向运动分析或转向信号激活。然而，车辆前部安装的座舱摄像头提供的数据最具价值，这些摄像头用来观察驾驶员。为克服不利的照明条件，通常使用特定的NIR 或NIR+NGR摄像头。关键问题是解决检测应用程序的稳健性。为此测试检测质量时，需要考虑各种状况。比如驾驶员的年龄和性别、戴眼镜、胡须和面部遮挡物，以及驾驶员的行为，如进食、说笑。利用深度学习算法和特定的训练数据，有望突破这些难题。

解决方案

多传感器开发框架RTMaps推出基于模块的方法，可以轻松将摄像头或雷达等座舱传感器与系统中的相关车辆总线集成。您可以拖动COTS库中的各种传感器类型和总线组件，将其与DMS应用程序连接，点击几下即可执行。使用所记录的API和实现示例，您可以请求甚至集成库中没有的传感器。RTMaps具有独特的内置功能，以时间相关的方式向DMS算法公开不同类型的异步输入数据流。数据融合因此成为高效检测驾驶员的重要前提。开发框架本身支持的Python脚本语言，该语言广泛用于AI算法开发，可以快速集成深度学习功能，满足高度稳健的驾驶员检测功能的要求。RTMaps包括多种功能，您可以更为细致的进行相关测试工作。比如使用数据回放为AI驱动的DMS功能提供大量真实或现实的合成数据，以测试其稳健性，这一切只需要一个工具。