NVIDIA 为智能汽车开发提供端到端堆栈,从传感器数据管护和合成数据生成到模型训练、闭环仿真和生产级车载计算,不一而足。
借助 NVIDIA 物理 AI 数据工厂 Blueprint,将原始传感器数据转换为高质量训练数据集。NVIDIA Cosmos™ Curator 和 Cosmos 数据集搜索可实现大规模数据管护和罕见场景检索的自动化。这些数据微调了 NVIDIA Alpamayo 开放 VLA 推理模型,并且 AlpaGym 在 GPU 规模上运行闭环强化学习后训练。
借助高保真、可扩展的仿真工作流加速智能汽车开发。使用 NVIDIA Omniverse NuRec 将现实世界的驾驶日志重构为交互式仿真,使用 Cosmos-Dreams 生成逼真的合成场景,并使用 AlpaSim 在 GPU 规模上运行闭环策略评估。
DRIVE AGX™ 是汽车级计算平台,可提供行业领先的性能。高性能 DRIVE AGX 计算与值得信赖的 NVIDIA DRIVE AGX Orin™ 和 DRIVE AGX Thor™ 生态系统合作伙伴强强联合,可加速生产部署。DRIVE AGX 由配备 NVIDIA DriveWorks、CUDA®、TensorRT™、NvMedia 和 NvStreams 的 DriveOS® SDK 提供支持。
NVIDIA DRIVE AGX 开发套件是 DRIVE Hyperion™ 架构的参考计算平台,提供等效量产的车载硬件,支持在整车部署前完成辅助驾驶软件栈的集成与测试。
NVIDIA DriveOS 是面向 DRIVE AGX 的汽车安全认证操作系统,提供传感器抽象层、计算调度以及中间件集成能力,用于满足车规级辅助驾驶开发需求。
NVIDIA Cosmos Curator 可对辅助驾驶开发所需的海量传感器数据完成过滤、标注与去重处理。该工具调用 NVIDIA Cosmos Reason (VLM) 实现多模态推理,并将数据处理工作流从几个月缩短到几天。
NVIDIA Cosmos Dataset Search 可从海量训练数据集中快速检索并提取目标场景。该工具依托 Cosmos‑Embed NIM 实现语义检索,能够在数秒内处理数十亿条视频片段。
NVIDIA CoC 自动标记流程可自动为驾驶片段生成因果推理链标签,从而移除手动标注,并加速模型训练的数据集准备。
NVIDIA Omniverse NuRec 采用基于高斯的算法,通过真实行车数据重建并渲染可交互仿真环境。其 3DGUT 内核融合高斯泼溅的运行速度与光线追踪的照片级真实感,打造物理精准的辅助驾驶仿真效果。
NVIDIA InstantNuRec 可进一步加速重建流程,仅需一次前向传播即可生成 3D 高斯泼溅场景;在单块 GPU 环境下,最高可将 NuRec 的训练迭代次数降低 25%。
NVIDIA Cosmos Transfer 是一款世界基础模型,可基于结构化输入 (包括高清地图、激光雷达深度信息以及文本提示词) 生成逼真的合成驾驶数据。该模型能够输出多视角一致的视频,覆盖各类天气、光照与环境变化,用于辅助驾驶感知与规划模型的训练。
NVIDIA Omniverse NuRec 的生成式模型可提升重建质量与场景多样性。Fixer 用于消除新视角渲染产生的闪烁伪影。NVIDIA Harmonizer 可对不同天气、不同时段下的光照做归一化处理。NVIDIA Asset Harvester 能够从局部视角提取 3D 高斯对象。
NVIDIA Alpamayo 2 Super 是开源 34B VLA 推理基础模型,经过强化学习后训练,支持灵活多相机配置,并具备导航引导能力。用于专有车队数据进行 SFT 和强化学习微调的后训练脚本已上传至 GitHub,遵循 Apache 2.0 许可协议。
NVIDIA AlpaGym 是首个用于在 GPU 规模上训练辅助驾驶策略模型的模块化强化学习框架,通过连续的决策和观察周期运行模型,以揭示静态数据集遗漏的复合错误。
NVIDIA AlpaSim 是一款开源智能汽车闭环仿真框架。它采用微服务架构,将渲染、物理仿真、交通行为以及策略执行分配至独立的 GPU 资源;支持 NVIDIA Omniverse NuRec 与 NVIDIA Cosmos‑Dreams 作为渲染后端。
NVIDIA Omniverse NuRec 把实拍驾驶场景重建成交互式 3D 高斯泼溅场景,适配回归测试、安全评估工作,写实画面回放耗时小于 25ms。
NVIDIA Cosmos-Dreams 可依据实时策略执行动作渲染照片级相机画面,在闭环仿真中持续生成未知场景。