理解仿真与验证
辅助驾驶车辆的仿真从重建的真实世界场景和合成数据开始。现实世界的多传感器行车数据通过使用 NVIDIA Omniverse™ NuRec 进行神经重建,被转换为高保真的 3D 环境,而 NVIDIA Cosmos™ 世界基础模型和 NVIDIA OmniDreams 则生成照片级逼真的场景变体和视频,让场景覆盖范围远超物理数据采集所能提供的水平。
驾驶栈通过使用 NVIDIA AlpaSim 进行闭环验证。NVIDIA AlpaSim 是一个开源仿真框架,可在数百万虚拟英里的场景中运行模型,由模型决策来驱动每个场景的演变。在真实道路部署之前,通过结合 NVIDIA AlpaGym 进行闭环强化学习,可在这些场景中不断迭代提升模型性能。

探索仿真技术
Omniverse NuRec
NVIDIA Omniverse Nurec
根据现实世界中的多传感器驾驶数据重建高保真 3D 世界。然后,它渲染新的传感器视图和轨迹,用于回放、验证和合成数据生成。
Alpamayo 2 Super
NVIDIA Alpamayo 2 Super 是一个开放的 320 亿参数推理 VLA 模型,可在整个驾驶堆栈中进行推理、规划和行动,从而实现更安全、可扩展的 L4 级开发。
Alpamayo 1.5 现已推出。Alpamayo 2 Super 即将推出。
AlpaSim
NVIDIA AlpaSim 是一个开源智能汽车仿真框架,结合了 Omniverse NuRec 场景、可配置流量和策略模型以及可扩展闭环测试,可在数百万英里的虚拟里程上迭代智能汽车堆栈。
AlpaGym
NVIDIA AlpaGym 是一个闭环强化学习框架,可针对开环、日志回放训练导致无法纠正的复合错误进行训练,从而改进自动驾驶策略的制定。
即将推出。
NVIDIA OmniDreams
NVIDIA OmniDreams 是一个基于 NVIDIA Cosmos 构建的生成式世界模型,可根据真实的驾驶数据或仿真输入合成逼真的闭环驾驶环境。
Cosmos Transfer 2.5
NVIDIA Cosmos Transfer 2.5 使用世界基础模型,通过文本提示和空间控制生成更快、更逼真的世界变体。这将现实世界的驾驶数据扩展到丰富的场景系列。
适用于智能汽车的 Cosmos 3 即将推出。
Cosmos Predict 2
NVIDIA Cosmos Predict 2 可以在智能汽车数据上进行后期训练,以生成用于模拟的单视图和多视图视频。这加快了下游训练和测试的场景创建和覆盖范围。
适用于智能汽车的 Cosmos 3 即将推出。
Cosmos 评估器
NVIDIA Cosmos Evaluator 自动评分系统可大规模验证合成视频的质量,包括幻觉、物体对应、环境条件和属性。
智能汽车学习资源
借助全新 NVIDIA Cosmos Transfer NIM 简化端到端智能汽车开发
本博客展示了如何创建世界模型并生成合成数据 (SDG) ,以加速端到端智能汽车训练,以及闭环训练和车载推理。
在 CARLA 上使用 NuRec 和 Cosmos 模拟和扩展现实世界的智能汽车数据
深入了解最新开源 CARLA 0.9.16 版本,并了解如何通过 NuRec 和 Cosmos Transfer 使用智能汽车仿真管线。此会议介绍神经重建和渲染工作流,以将真实的传感器数据引入仿真。
使用 NuRec Fixer 提高智能汽车模拟的 3D Gaussian 重建质量
了解如何使用 NuRec Fixer 将杂的 3D 场景转换为清晰、无伪影的环境,为智能汽车模拟做好准备。