了解模型开发
辅助驾驶的模型开发始于从车队车辆收集的数据，这些数据由 NVIDIA Cosmos™ Curator 整理和标注，并通过 NVIDIA Cosmos 世界基础模型的合成场景进行增强。NVIDIA Cosmos 数据集搜索可即时检索罕见的长尾场景，从而加速训练后的数据工作流。然后，NVIDIA Alpamayo VLA 推理模型在这些数据集上进行微调，NVIDIA AlpaGym 运行闭环强化学习后训练。
用于处理和搜索辅助驾驶训练数据的工具
Cosmos Curator
NVIDIA Cosmos Curator 是一个用于为物理 AI 开发快速筛选、标注和删除大量传感器数据的框架。它使用 NVIDIA Cosmos Reason VLM 对数据进行注释和评判，将处理流程从几个月缩短到几天。
Cosmos 数据集搜索
NVIDIA Cosmos 数据集搜索向量搜索工作流可立即从海量数据集中检索相关驾驶场景。它采用 NVIDIA Cosmos Embed NIM™ 对数十亿个片段进行语义搜索，将罕见场景发现时间从数周缩短到数秒。
CoC 自动标记流程
NVIDIA CoC 自动标记流程可自动生成用于驱动片段的因果链 (CoC) 推理标签。它可以识别决策制定关键帧，根据封闭的行动集标记驱动决策，并将因果关系整理成结构化的 CoC 追踪。
辅助驾驶的物理 AI 数据集
适用于智能汽车的 NVIDIA 物理 AI 数据集是一个开放的大规模多模态驾驶数据集，跨越数十个国家地区的一千多小时。它包含 CoC 推理标签，可为训练基于推理的辅助驾驶模型提供因果决策追踪。
生成逼真的合成训练数据
Cosmos Transfer 2.5
NVIDIA Cosmos Transfer 2.5 使用世界基础模型，通过文本提示和空间控制生成更快、更逼真的世界变体。这将现实世界的驾驶数据扩展到丰富的场景系列。
Omniverse NuRec
NVIDIA Omniverse™ NuRec 是一组基于 Gaussian 的库，可将现实世界的驾驶场景重建为交互式 3D 环境。这为生成合成训练数据提供了新的传感器视图和场景变化。
Cosmos Evaluator
NVIDIA Cosmos Evaluator 是一个开放式框架，可自动评分和验证 NVIDIA Cosmos 生成的合成视频，测量物理准确性和对象保真度，以提高辅助驾驶模型训练的数据质量。
Cosmos 3
NVIDIA Cosmos™ 3 是面向物理 AI 的前沿开放世界基础模型，也是首个用于理解和生成文本、图像、视频、环境声音和动作的完整全模态模型。它统一了视觉推理、世界和行动生成，以加速视觉分析、合成数据、仿真和策略改进。
模型训练和优化
Alpamayo 2 Super
NVIDIA Alpamayo 2 Super 是一个包含 340 亿个参数的开放推理 VLA 模型，可在整个驾驶堆栈中进行推理、规划和行动，从而实现更安全、可扩展的 L4 级开发。
Alpamayo 1.5 Nano
NVIDIA Alpamayo 1.5 Nano 是一个开放的 10B 推理 VLA 模型，强化学习经过后训练，可提高推理质量。它支持灵活的多摄像头配置、自然语言导航引导以及 SFT 和强化学习微调。
AlpaGym
NVIDIA AlpaGym 是一个开源模块化闭环强化学习框架，用于在 GPU 规模上训练辅助驾驶策略模型。它有助于揭示开环、日志回放训练导致无法纠正的复合错误。
TensorRT
The NVIDIA TensorRT™ 高性能深度学习推理工具生态系统包括编译器、运行时和模型优化，可为生产应用提供低延迟和高吞吐量。
TensorRT-LLM
NVIDIA TensorRT-LLM 开源库可在 NVIDIA GPU 上优化大语言和视觉语言模型推理，并支持 FP8 和 NVFP4 量化、动态批处理和分页注意力。这是 Alpamayo 1.5 的推理后端。
Dynamo-Triton
NVIDIA Dynamo-Triton™ 是一个开源模型服务框架，可跨 NVIDIA TensorRT、PyTorch、ONNX 和其他主要框架部署 AI 模型。它使用动态批处理、并发模型执行和集成流程来运行多个 AI 模型，包括在 GPU 上进行预处理和后处理。
了解 NVIDIA Alpamayo
NVIDIA Alpamayo 是一个开放的视觉-语言-动作模型、仿真框架和物理 AI 数据集系列，用于基于推理的辅助驾驶汽车开发。
- 使用 Alpamayo 2 Super 对复杂的驾驶场景进行推理。
- 使用 CoC 自动标记流程自动生成因果推理标签。
- 使用 AlpaSim 在闭环中仿真和评估辅助驾驶策略。
- 使用 AlpaGym 进行 GPU 规模强化学习，对辅助驾驶策略进行后训练。
- 访问物理 AI 开放数据集，这是一个开源的大型多模态驾驶数据集。