用于 dSPACE 汽车仿真模型(ASM)中可编辑场景的神经重建:利用 NVIDIA Omniverse NuRec 库将记录的驾驶转化为数字孪生,并借助 dSPACE 仿真解决方案将其扩展至可扩展的仿真场景。
从记录的传感器数据到可扩展的仿真工作流程
高级驾驶辅助系统(ADAS)和自动驾驶(AD)的验证,需要仿真工作流程的规模超越实际驾驶测试,以达到所需的测试里程覆盖,从而将安全的驾驶功能推向道路。基于物理学的仿真仍是这一流程的核心支柱,能够实现确定性和可重现性的测试。
与此同时,自动驾驶汽车运行的环境极其多样化。随着车队在实际道路上的行驶里程不断增加——无论是在开发阶段还是量产阶段——神经重建技术正在创造一种新型的仿真环境,这种环境本身具有可扩展性,使开发团队能够直接从记录的传感器日志数据生成数字孪生。用于三维高斯溅射的 NVIDIA Omniverse NuRec 库提供了一个重构流程,可将记录的传感器数据处理成包含动态交通参与者的 3D 仿真环境。这种环境可以回放,也可以进行修改。当与运行时环境以及物理模型、行为模型等其他关键组件相结合时,它可以作为可扩展的完整闭环仿真解决方案的基础。
为了支持这一点,dSPACE 正在将 NuRec 集成到 dSPACE 汽车仿真模型 (ASM) 工具套件中,将神经重构技术与成熟的车辆动力学和交通仿真模型连接起来。
可扩展性和真实感是神经重构技术的优势所在(图 2)。通过神经重构(基于高斯泼溅技术),您可以为数据集中的每个场景创建一个交互式数字孪生,并对场景进行修改,从而生成那些有趣的“假设”(边缘/极端)案例,以挑战您的自动驾驶(AV)系统,促使其采取正确的行动。这项技术与强大的车辆动力学及闭环实时仿真相结合,使我们能够对这些“假设性”场景进行测试。
什么是三维高斯泼溅?
神经辐射场(NeRF)是利用深度学习方法进行场景重构的首批开发成果之一。虽然 NeRF 能够以出色的视觉质量重构,但其推理速度却远远达不到实时要求。
这种情况随着 3D 高斯泼溅(3DGS)的(再次)引入而改变,它结合了可微优化技术(如 NeRF 中使用的)和基于光栅化渲染器的效率优势。在高斯泼溅中,场景被建模为一个由数百万个各向异性的 3D 高斯椭球体组成的非结构化集合。这种方法不仅训练速度通常比 NeRF 快几个数量级,并且在渲染过程中能够达到 100+ 帧/秒(取决于分辨率)的实时能力。
我们来了解一下高斯泼溅的基本单元:三维高斯体。与点云中的点不同,三维高斯体具有空间延展性和方向性,能够精准拟合连续曲面与复杂纹理。图 3 展示了如何利用这些高斯体来完成物体重构,例如汽车模型重构。一个三维高斯体由以下四个属性来表征:
- 中心/位置 µ: 椭球体在空间中的中心点
- 协方差矩阵: 决定椭球体的形状、比例和方向。协方差矩阵通常被分解为一个旋转矩阵和一个(对角)缩放矩阵。这种方法提供了直观的几何解释。优化算法可以对高斯体进行缩放——在三维空间中任意拉伸、压缩或旋转它们——以适应场景的几何形状。例如,高斯体可以是扁平的,以表示一面墙,也可以被极度拉长,以表示一根缆线。
- 不透明度: 确定椭圆体的透明度
- 颜色: ,由球谐函数(SH)系数表示,可对视角相关的视觉效果进行建模。实现逼真场景的一个重要方面是,表面点的颜色会随视角的变化而改变。如果高斯只存储 RGB 值作为颜色,场景看起来会“扁平”。为了突破这一限制,3DGS 采用了球谐函数,每个颜色通道存储约十六个系数。在渲染阶段,系统会评估视角相对于高斯体的方向,并对球谐函数进行求和,以计算出最终的 RGB 颜色值。这样就能够实现复杂的照明效果。
将 NVIDIA NuRec 集成到 dSPACE 工具链中
通过将 dSPACE 工具链与 NuRec 相连(图 4),我们将传感器再仿真又向前推进了一步。用户不再局限于简单的数据回放,现在可以在重构的环境中仿真出全新的或经过调整的驾驶场景。
这是通过将 NuRec 连接到 dSPACE ASM OpenX 解决方案实现的,该方案支持以 OpenSCENARIO 标准格式仿真用户定义的场景。这使得客户能够通过可扩展参数变量回放场景,并且可以手动构建极端情况场景,从而降低原始数据未涵盖特定情景的风险。
利用这种集成方法,客户能够在仿真方面使用自己熟悉的工具,同时充分利用基于 3DGUT 的场景表示进行可视化和摄像头传感器仿真——具体目标在于最大限度地缩小真实数据和仿真数据之间的域差距。在一定范围内,甚至自主车辆的行驶轨迹和摄像头参数也可以进行调整。基于 3DGUT 的高效 NuRec 渲染方法可进行实时渲染,从而实现闭环 HIL 仿真等应用场景。中文翻译对于软件在环(SIL)或开环硬件在环(HIL)应用场景,可以使用 Fixer 进一步减少渲染相机图像中的伪影,从而提高质量。
该工作流还支持将用户定义的 3D 模型作为可移动的高斯溅射体进行集成。dSPACE AURELION 提供了一个大型三维模型数据库,可作为此功能的基础。此外, Asset Harvester 还可以从从野外实拍素材中生成 3D 资源,有助于填补剩余的内容缺口。自定义资源使用户能够调整和改变环境,并对不同的交通参与者进行可视化呈现。
图 4:相机参数化以及格式化后的传感器原始数据作为输入,输入到 NuRec 流程中以生成数字孪生,该孪生模型可以使用 dSPACE 库中的其他 3D 资产进行扩展。该场景可在 ASM 中配置和仿真,并实时渲染,以测试您的驾驶功能。
那么雷达和激光雷达呢?
随着仿真技术的不断发展,数据驱动的开发与基于物理的仿真相结合将变得越来越重要。神经重构提供了一种可扩展的方法,可将记录的测试驾驶数据转化为数字孪生,同时能够在保持高度真实传感器数据的基础上,进一步修改驾驶场景。
尽管 NVIDIA Omniverse NuRec 已经支持激光雷达仿真,但本博客介绍的工作流程主要侧重于基于相机的应用案例。由于当今的驾驶功能也严重依赖雷达和激光雷达,这些传感器的集成对于进一步扩展这种仿真方法的适用性至关重要。
敬请关注我们后续的博客文章,我们将进一步深入探讨工具链的演进,以及如何将更多传感器技术集成到 dSPACE 仿真生态系统之中。
联系dSPACE
如果您有兴趣将 NVIDIA Omniverse NuRec 库与 dSPACE 仿真解决方案集成到您的测试和开发工作流程中,请联系 dSPACE,共同探讨如何根据您的需求集成这一方案。
作者简介
Caius Seiger
dSPACE 自动驾驶和软件解决方案产品经理
Frederik Viezens
项目工程师,自动驾驶与软件解决方案,dSPACE
Sven Burdorf
dSPACE 人工智能专家,在项目中协调 dSPACE 的各项活动