探索全新的 mydSPACE 服务: 许可证管理、全新的 dSPACE 帮助以及用于用户文档的 dSPACE 聊天机器人。请访问我们的专用支持页面,获取更多信息和支持。 链接了解更多并获取支持

用于 dSPACE 汽车仿真模型(ASM)中可编辑场景的神经重建:利用 NVIDIA Omniverse NuRec 库将记录的驾驶转化为数字孪生,并借助 dSPACE 仿真解决方案将其扩展至可扩展的仿真场景。

从记录的传感器数据到可扩展的仿真工作流程   

高级驾驶辅助系统(ADAS)和自动驾驶(AD)的验证,需要仿真工作流程的规模超越实际驾驶测试,以达到所需的测试里程覆盖,从而将安全的驾驶功能推向道路。基于物理学的仿真仍是这一流程的核心支柱,能够实现确定性和可重现性的测试。

图 1:将记录的真实驾驶数据转换为可编辑的场景,需要克服许多挑战。

与此同时,自动驾驶汽车运行的环境极其多样化。随着车队在实际道路上的行驶里程不断增加——无论是在开发阶段还是量产阶段——神经重建技术正在创造一种新型的仿真环境,这种环境本身具有可扩展性,使开发团队能够直接从记录的传感器日志数据生成数字孪生。用于三维高斯溅射的 NVIDIA Omniverse NuRec 库提供了一个重构流程,可将记录的传感器数据处理成包含动态交通参与者的 3D 仿真环境。这种环境可以回放,也可以进行修改。当与运行时环境以及物理模型、行为模型等其他关键组件相结合时,它可以作为可扩展的完整闭环仿真解决方案的基础。

为了支持这一点,dSPACE 正在将 NuRec 集成到 dSPACE 汽车仿真模型 (ASM) 工具套件中,将神经重构技术与成熟的车辆动力学和交通仿真模型连接起来。

图 2:dSPACE 车辆模型嵌入基于 NVIDIA 物理人工智能开放数据集的重构环境中。

可扩展性和真实感是神经重构技术的优势所在(图 2)。通过神经重构(基于高斯泼溅技术),您可以为数据集中的每个场景创建一个交互式数字孪生,并对场景进行修改,从而生成那些有趣的“假设”(边缘/极端)案例,以挑战您的自动驾驶(AV)系统,促使其采取正确的行动。这项技术与强大的车辆动力学及闭环实时仿真相结合,使我们能够对这些“假设性”场景进行测试。

什么是三维高斯泼溅?

神经辐射场(NeRF)是利用深度学习方法进行场景重构的首批开发成果之一。虽然 NeRF 能够以出色的视觉质量重构,但其推理速度却远远达不到实时要求。

这种情况随着 3D 高斯泼溅(3DGS)的(再次)引入而改变,它结合了可微优化技术(如 NeRF 中使用的)和基于光栅化渲染器的效率优势。在高斯泼溅中,场景被建模为一个由数百万个各向异性的 3D 高斯椭球体组成的非结构化集合。这种方法不仅训练速度通常比 NeRF 快几个数量级,并且在渲染过程中能够达到 100+ 帧/秒(取决于分辨率)的实时能力。

我们来了解一下高斯泼溅的基本单元:三维高斯体。与点云中的点不同,三维高斯体具有空间延展性和方向性,能够精准拟合连续曲面与复杂纹理。图 3 展示了如何利用这些高斯体来完成物体重构,例如汽车模型重构。一个三维高斯体由以下四个属性来表征:

图 3:左侧:背景前方的车辆原始图像。右侧:使用三维高斯体“重构”的汽车(忽略透明度)。通过拉伸、压缩和旋转三维椭球体,只需少量高斯体就能重构形状。复杂的物体通常需要数百万个高斯体。

  • 中心/位置 µ: 椭球体在空间中的中心点
  • 协方差矩阵: 决定椭球体的形状、比例和方向。协方差矩阵通常被分解为一个旋转矩阵和一个(对角)缩放矩阵。这种方法提供了直观的几何解释。优化算法可以对高斯体进行缩放——在三维空间中任意拉伸、压缩或旋转它们——以适应场景的几何形状。例如,高斯体可以是扁平的,以表示一面墙,也可以被极度拉长,以表示一根缆线。
  • 不透明度: 确定椭圆体的透明度
  • 颜色: ,由球谐函数(SH)系数表示,可对视角相关的视觉效果进行建模。实现逼真场景的一个重要方面是,表面点的颜色会随视角的变化而改变。如果高斯只存储 RGB 值作为颜色,场景看起来会“扁平”。为了突破这一限制,3DGS 采用了球谐函数,每个颜色通道存储约十六个系数。在渲染阶段,系统会评估视角相对于高斯体的方向,并对球谐函数进行求和,以计算出最终的 RGB 颜色值。这样就能够实现复杂的照明效果。

将 NVIDIA NuRec 集成到 dSPACE 工具链中

通过将 dSPACE 工具链与 NuRec 相连(图 4),我们将传感器再仿真又向前推进了一步。用户不再局限于简单的数据回放,现在可以在重构的环境中仿真出全新的或经过调整的驾驶场景。

这是通过将 NuRec 连接到 dSPACE ASM OpenX 解决方案实现的,该方案支持以 OpenSCENARIO 标准格式仿真用户定义的场景。这使得客户能够通过可扩展参数变量回放场景,并且可以手动构建极端情况场景,从而降低原始数据未涵盖特定情景的风险。

利用这种集成方法,客户能够在仿真方面使用自己熟悉的工具,同时充分利用基于 3DGUT 的场景表示进行可视化和摄像头传感器仿真——具体目标在于最大限度地缩小真实数据和仿真数据之间的域差距。在一定范围内,甚至自主车辆的行驶轨迹和摄像头参数也可以进行调整。基于 3DGUT 的高效 NuRec 渲染方法可进行实时渲染,从而实现闭环 HIL 仿真等应用场景。中文翻译对于软件在环(SIL)或开环硬件在环(HIL)应用场景,可以使用 Fixer 进一步减少渲染相机图像中的伪影,从而提高质量。

该工作流还支持将用户定义的 3D 模型作为可移动的高斯溅射体进行集成。dSPACE AURELION 提供了一个大型三维模型数据库,可作为此功能的基础。此外, Asset Harvester 还可以从从野外实拍素材中生成 3D 资源,有助于填补剩余的内容缺口。自定义资源使用户能够调整和改变环境,并对不同的交通参与者进行可视化呈现。

图 4:相机参数化以及格式化后的传感器原始数据作为输入,输入到 NuRec 流程中以生成数字孪生,该孪生模型可以使用 dSPACE 库中的其他 3D 资产进行扩展。该场景可在 ASM 中配置和仿真,并实时渲染,以测试您的驾驶功能。

那么雷达和激光雷达呢?

随着仿真技术的不断发展,数据驱动的开发与基于物理的仿真相结合将变得越来越重要。神经重构提供了一种可扩展的方法,可将记录的测试驾驶数据转化为数字孪生,同时能够在保持高度真实传感器数据的基础上,进一步修改驾驶场景。

尽管 NVIDIA Omniverse NuRec 已经支持激光雷达仿真,但本博客介绍的工作流程主要侧重于基于相机的应用案例。由于当今的驾驶功能也严重依赖雷达和激光雷达,这些传感器的集成对于进一步扩展这种仿真方法的适用性至关重要。

敬请关注我们后续的博客文章,我们将进一步深入探讨工具链的演进,以及如何将更多传感器技术集成到 dSPACE 仿真生态系统之中。

联系dSPACE

如果您有兴趣将 NVIDIA Omniverse NuRec 库与 dSPACE 仿真解决方案集成到您的测试和开发工作流程中,请联系 dSPACE,共同探讨如何根据您的需求集成这一方案。

这听起来很有意思。欢迎沟通交流:

作者简介

Caius Seiger

Caius Seiger

dSPACE 自动驾驶和软件解决方案产品经理

Frederik Viezens

Frederik Viezens

项目工程师,自动驾驶与软件解决方案,dSPACE

Sven Burdorf

Sven Burdorf

dSPACE 人工智能专家,在项目中协调 dSPACE 的各项活动

通过 dSPACE时事通讯服务了解最新信息。

通过 dSPACE 时事通讯服务,我们将随时向您通报当前的使用案例、新解决方案和产品以及培训和活动。在此注册,免费订阅。

Enable form call

At this point, an input form from Click Dimensions is integrated. This enables us to process your newsletter subscription. The form is currently hidden due to your privacy settings for our website.

External input form

By activating the input form, you consent to personal data being transmitted to Click Dimensions within the EU, in the USA, Canada or Australia. More on this in our privacy policy.