使用 NVIDIA Cosmos 构建用于交互式仿真的世界模型

处理世界模型的物理 AI 开发者面临着两个不同的挑战：根据传感器、任务和数据调整模型，以及将这些模型可靠地应用于世界模型应用程序。

NVIDIA Cosmos 解决了每个问题。Cosmos 是一个为物理 AI 提供世界基础模型和开发工具的平台。Cosmos 框架为世界模型训练、多模态数据处理、优化和推理提供智能体技能和方法。Cosmos NIM 微服务支持通过应用 API 提供 GPU 加速服务。

本文将介绍这两者。模拟部分展示了如何使用 Cosmos 框架的推理方法和智能体技能，为智能汽车、机器人和手术场景生成同步的摄像头视频和激光雷达观察结果，从您现在可以运行的已发布检查点开始。部署部分展示了如何为 GPU 选择 NIM 配置、启动容器、验证就绪情况，以及发送首个推理请求。

何时使用 Cosmos 框架开发世界模型

Cosmos 框架是一个完全模块化的开放式框架，用于世界模型训练、模型优化和推理，支持使用新智能体技能的完整模型开发周期。除了 NVIDIA Alpamayo、GR00T、Qwen、pi0.5 和其他兼容的 Hugging Face 模型之外，它还在进行扩展，以支持 Cosmos 3。

培训

• 使用新技能更快地训练文本、图像、视频、音频和动作模型。
• 使用 LoRA 进行参数高效适应，或使用完全监督式微调 (SFT) 更新所有模型参数。
• 通过 JSONL、WebDataset、LeRobot 或自定义适配器加载数据，并跨 GPU 进行训练和保存检查点以恢复运行。
• 引导您的智能体学习后训练技能，以实现加速和自动化。

应用强化学习

• 该平台现已涵盖在线和离线 RL 路径。新支持的工作流包括：
  • DPO：离线偏好优化。
  • GRPO：具有规则或模型奖励以及 vLLM 推出的在线 RL。
  • PPO：演员 – 评论家 RL，具有冻结的参考和评论家，包括用于仿真中具身策略的 RL。
  • OPD：来自冻结教师的 on-policy 蒸馏。
  • DiffusionNFT：用于扩散世界模型的在线 RL。
• 在共享 GPU 或单独的池中运行部署、奖励和训练角色。
• 连接受支持的模拟器以收集经验。

优化模型和推理

• 蒸馏模型可减小模型大小或生成步骤；量化模型可减少内存使用。
• 使用 Hugging Face Diffusers、PyTorch、SGLang、vLLM-Omni、vLLM、TRT-LLM 和 TRT-Edge-LLM 或 NVIDIA NIM 运行兼容的 Checkpoint。
• 评估质量、准确性和 GPU 使用率，并更大限度地提高计算利用率。

在 Cosmos 框架中使用智能体

在 .agents/skills 下加载设置、推理、后训练和故障排除技能。为智能体指定一项有边界的任务：

提示：使用 <recipe> 在 <dataset> 上对 <checkpoint> 进行后训练。固定所有修订版本，验证数据集，并将训练和评估阶段分开。运行烟雾测试，保存配置，并在 <N> GPU 小时停止。使用三个种子导出保留数据并与基础模型进行比较。以支持的较低精度重复评估；记录质量、峰值内存和延迟。

您应该使用哪种 Cosmos 模拟工作流程？

Cosmos 框架为机器人仿真、逼真场景生成、多摄像头驾驶仿真和手术策略评估提供后训练和推理方法。新的 Cosmos 3 Nano 模拟方案和示例检查点使开发者能够使用代理可运行的技能来评估我们的示例检查点，并使 Cosmos 3 Nano 适应自定义传感器、动作空间和数据域。

这些检查点支持 PyTorch 和 vLLM-Omni，并在 NVIDIA Hopper 和 Blackwell GPU 上进行了测试。使用 recipe 选择 GPU 数量、内存配置和推理设置。

智能汽车模拟：

两个智能汽车检查点均采用提示和世界场景地图 (WSM) 控制，表示车道、物体、道路标记、交通标志和道路边界。此外，联合生成的 RGB – LiDAR 还使用高精地图测距图控制，并支持可选的初始激光雷达观测结果。提示描述了天气、光照、一天中的时间、道路状况，前缀提供了摄像头装备和视野环境。可选的初始摄像头图像可提供视觉环境来指导生成的场景外观。

Cosmos3-Nano-Transfer-Auto 使用双向生成技术同时对整个多视图片段进行降噪，以生成离线合成数据。它支持 30 fps 的输入和输出视频，在 480p 或 720p 分辨率下可实现高达 400 帧的帧率；可以通过自回归分块生成更长的序列。更改提示，将白天驾驶转变为雨夜驾驶，同时保持相同的道路布局和车辆轨迹。使用这些变体，在不同天气和光照条件下训练和评估感知和驾驶模型。

设置框架后，从资源库根运行以下 4 个 GPU 示例。对于 Transfer-Auto，请使用已发布的示例配置以及七个同步的 WSM 视频、每个摄像头的描述、第一帧 RGB 调节和高清地图激光雷达控制。请参阅Transfer-Auto 推理指南，了解设置、输入准备和输出详情。

export COSMOS_TRAINING=0 COSMOS_INTERNAL=0

hf download nvidia/Cosmos3-Nano-Transfer-Auto \
  --local-dir checkpoints/Cosmos3-Nano-Transfer-Auto

AUTO_SAMPLE_ROOT="$PWD/checkpoints/Cosmos3-Nano-Transfer-Auto/assets/sample_data"
AUTO_NEGATIVE_PROMPT="$(cat .agents/skills/cosmos3-nano-transfer-auto/inference/assets/negative-prompt.txt)"

torchrun --standalone --nproc-per-node=4 \
  -m cosmos_framework.scripts.inference \
  -i "$AUTO_SAMPLE_ROOT/input-transfer-auto.jsonl" \
  -o outputs/transfer_auto \
  --checkpoint-path checkpoints/Cosmos3-Nano-Transfer-Auto \
  --resolution 720 --num-steps 35 \
  --per-view-negative-prompt "$AUTO_NEGATIVE_PROMPT" \
  --cp-size 4 --cfgp-size 1 \
  --no-use-torch-compile --no-diffusion-cache

该参考运行会生成 7 个 720p 视频 (在 30 FPS 帧速率下为 297 帧) 和 99 次激光雷达扫描。检查 sample_outputs.json 是否成功，检查 lidar.safetensors 是否为有限范围和强度值，然后验证 WSM 对齐情况以及摄像头视图和激光雷达之间的一致性。

有关自定义场景和装备适应性，请参阅 WSM 渲染器 和 Transfer-Auto 后训练指南。有关激光点云转换和可视化，请参阅 激光雷达可视化实用程序

Cosmos3-Nano-Sim-Auto 是 Cosmos3-Nano-Transfer-Auto 的因果变体，经过几个步骤提炼而成，可生成自回归流。当智能汽车策略或人类驾驶输入通过 WSM 渲染器更新场景时，它会逐渐生成观察结果。生成的摄像头和激光雷达观测结果返回策略，实现闭环评估。

对于 Sim-Auto，使用已发布的 Sim-Auto 样本检查点 和预渲染的 WSM 控件重现参考发布，以自动回归方式生成同步的摄像头视频和激光雷达观察结果。有关设置、输入配置和输出的详细信息，请参阅 仿真 – 自动推理指南。

export COSMOS_TRAINING=0 COSMOS_INTERNAL=0

hf download nvidia/Cosmos3-Nano-Sim-Auto \
  --local-dir checkpoints/Cosmos3-Nano-Sim-Auto

hf download nvidia/Cosmos3-Nano-Transfer-Auto \
  --include 'assets/sample_data/*' \
  --local-dir checkpoints/Cosmos3-Nano-Transfer-Auto

AUTO_SAMPLE_ROOT="$PWD/checkpoints/Cosmos3-Nano-Transfer-Auto/assets/sample_data"

torchrun --standalone --nproc-per-node=4 \
  -m cosmos_framework.scripts.inference \
  -i "$AUTO_SAMPLE_ROOT/input-sim-auto.jsonl" \
  -o outputs/sim_auto \
  --checkpoint-path checkpoints/Cosmos3-Nano-Sim-Auto \
  --cp-size 4 --cfgp-size 1 \
  --no-use-torch-compile --no-diffusion-cache

如需了解人工控制的部署，请参阅模拟汽车交互式驾驶。

Sim-Auto 参考运行写入 outputs/sim_auto/daytime_scene/。对 Transfer-Auto 应用上述相同的输出检查。

机器人仿真：

Cosmos3-Nano-Sim-Transfer 可将深度视频和提示转换为具有不同照明、纹理和背景的 RGB 视频，同时保留几何图形和运动。在机器人演示中，它可以改变第三人称视角，同时保留动作、状态和摄像头记录。

视频 3. 在模拟器保持物理状态时，使用语言提示将深度、分割、边缘或模糊视频转换为详细的 RGB 观察结果

Cosmos3-Nano-Sim-Bimanual 根据场景和机器人动作生成下一个视觉观察结果。它支持 YAM 和 AgiBot 具身的交互式双臂模拟，由策略或人工操作的操纵杆控制。

在这里，Sim-Transfer 根据物理模拟器的更新状态生成视觉效果；Sim-Bimanual 直接根据场景和机器人动作生成下一个观察结果。

手术模拟：

手术环境因其复杂的多物理特性而成为经典模拟器中最具挑战性的环境之一。生成式仿真提供了一种辅助方法：世界基础模型直接从同步的手术视频和机器人运动学中学习视觉动力学，而不是对场景几何、组织变形和物理交互进行显式建模。

Cosmos3-H-Embodied-Nano 基于 Cosmos3 构建，并在 Open-H-Embodiment 上进行后训练，可根据机器人动作生成手术视频，预测视频中的动作，或同时生成这两种动作。它接受初始 RGB 帧、任务提示、最后 16 个执行的操作以及后续的机器人操作。开发者可以使用它生成合成数据并离线评估策略，而无需构建手术场景的物理模型。

Cosmos3-H-Dreams 借助 Cosmos3-H-Dreams，开发者可以测试手术策略在手术过程中的反应，每个动作都会决定接下来会发生什么。这款因果步长模型从 Cosmos3-H-Embodied-Nano 提炼而成，可根据实时机器人运动学生成帧，用于由人类或学习策略控制的实时闭环仿真。这为开发者提供了一个交互式环境，以便在物理硬件上进行测试之前探索手术操作并评估策略。

何时使用 Cosmos NIM 加速推理

除开放式推理工具外，新的 Cosmos NIM 软件包还支持在经过优化的容器中构建模型，以加速推理，使 Cosmos 模型易于部署。

• 推理更快、内存更少：通过量化、预测解码、缓存、token剪枝和 KV-cache 感知路由来加速推理。在 H200 上，预测解码可提供约 2–3× 的测量平均速度提升。
• 自定义模型和实时视频理解：借助流式 VLM 推理，提供经过微调的 Cosmos Checkpoint，并处理直播，实现亚秒级警报，将延迟降低 10 倍，从而加快事件响应速度。
• 更简单的生产部署：自动配置选择、跨受支持 GPU 的验证性能和质量、许可支持以及季度功能、优化和安全更新。

GPU 显存要求

如何启动 Cosmos NIM

使用上表选择 GPU 和模型配置，然后按照部署指南在 Linux 上安装所需的 NVIDIA 驱动程序、Docker 和 NVIDIA 容器工具包。登录NGC API 密钥，选择 Generate Personal Key (生成个人密钥)，然后启用 NGC 目录 访问权限。在终端中将密钥设置为 NGC_API_KEY：

export NGC_API_KEY='paste-your-key-here'

以下命令可在 GPU 0 上启动 Nano Generator。确保已安装 curl 和 python3，并且有足够的磁盘空间用于镜像和模型缓存。显示的缓存权限用于本地开发。

: "${NGC_API_KEY:?Export your NGC API key first}"
printf '%s' "$NGC_API_KEY" | docker login nvcr.io \
 --username '$oauthtoken' --password-stdin

export NIM_IMAGE='nvcr.io/nim/nvidia/cosmos3:2.0.0'
export LOCAL_NIM_CACHE="$HOME/.cache/nim/cosmos3"
mkdir -p "$LOCAL_NIM_CACHE"
chmod a+rwX "$LOCAL_NIM_CACHE"

docker run -d --name cosmos3-generator \
 --gpus '"device=0"' \
 --shm-size 16g \
 --ulimit memlock=-1 \
 --ulimit stack=67108864 \
 --ulimit nofile=65536:65536 \
 -p 8000:8000 \
 -e NGC_API_KEY \
 -e NIM_MODEL_TYPE=generator \
 -e NIM_MODEL_VARIANT=nano \
 -e NIM_PERF_PROFILE=latency \
 -v "$LOCAL_NIM_CACHE:/opt/nim/.cache" \
 "$NIM_IMAGE"

等待准备就绪 (大约几分钟) ，然后检查选定的模型和配置文件：

curl -fsS http://localhost:8000/v1/health/ready
curl -fsS http://localhost:8000/v1/metadata | python3 -m json.tool

要检查启动进度，请在另一个终端中运行 docker logs -f cosmos3-generator。现在，您可以开始生成了。

选择延迟或吞吐量：

• 延迟 (默认): 优先提前完成一个请求。选择它进行交互式实验；支持的多 GPU 配置根据请求一起使用 GPU。
• 吞吐量: 优先处理随着时间推移而完成的更多请求。为数据集生成或并发用户选择它；独立副本并行处理请求。

在容器启动时设置 NIM_PERF_PROFILE。这些设置适用于生成器；吞吐量优势需要并发请求。延迟支持 1、2、4 或 8 个 GPU，而吞吐量则需要 2、4 或 8 个兼容 GPU。仅将 NIM_PERF_PROFILE 更改为单 GPU 示例中的吞吐量将导致配置文件选择失败。

开始使用

探索Cosmos 框架，并使用其智能体技能和参考方案为您的应用训练、定制和优化模型。从与您的任务相匹配的模拟检查点开始，重现参考工作流，并根据您的传感器、动作和数据进行调整。

阅读完整的技术报告。

欢迎于 11 月 5 日 (星期四) 加入我们，观看如何使用 Cosmos 框架的直播。

使用新的认证 Cosmos NIM 部署 Cosmos 模型进行推理和生成，在 20 多个 NVIDIA GPU 上实现最佳性能。