面向开发者的 NVIDIA Cosmos
NVIDIA Cosmos™ 是一个面向智能汽车 (AV) 和机器人开发者，整合了前沿的生成世界基础模型 (WFM)、高级分词器、护栏以及加速数据处理和管理管道的平台。
更快地构建、评估、部署和模拟物理 AI 模型，同时更大限度地降低现实世界中的测试和验证风险。
工作原理
Cosmos WFM 可加速物理 AI 开发，帮助开发者增强数据集，并对机器人和自动驾驶汽车的下游世界模型进行后训练。
Cosmos 预测根据输入生成下一帧，以构建预测各种边缘案例的数据集，并作为所有世界模型的基础。
Cosmos 推理充当评论家，使用思维链推理来评估合成视觉效果并奖励结果。它还可以生成描述，以加速数据管护。
Cosmos Transfer可在各种环境和照明条件下放大结构化视频。
开发者可以使用可用的 PyTorch 推理和后训练脚本以及模型检查点。Cosmos NIM 微服务正在开发中 – Cosmos Predict NIM 微服务现已推出单击此处。
NVIDIA Cosmos 世界基础模型
一系列用于世界生成的预训练模型，作为加速物理 AI 开发的视频。在 NGC、Hugging Face 和 GitHub 上向开发者公开提供。
Cosmos Predict-2
我们的世界基础模型性能出色，具有更高的保真度、灵活的帧速率和分辨率、更少的幻境，以及更好的文本、物体和运动控制。
从 4 秒以内的文本或高达 30 秒的未来世界视频中从参考图像或预览生成预览。
Cosmos Transfer
用于大规模可控的逼真合成数据。
输入：来自 NVIDIA Omniverse™ 的草图、深度信号、激光雷达扫描、关键点、轨迹、高清地图和真值模拟。
输出：逼真的世界场景，根据输入、镜像布局、物体放置和运动进行调整。
Cosmos Reason
用于物理 AI 推理。
使用视觉语言微调和强化学习训练的完全可定制的多模态推理模型，该模型使用一系列想法来规划响应。
该模型通过推理和奖励最佳响应来实现智能决策。
Cosmos Predict-1
用于开箱即用的世界生成和后训练。
一种通用模型，可根据文本或视频提示生成世界状态，并通过预测给定开始帧和结束帧之间的帧来合成连续运动。
这些模型的参数范围从 40 亿到 150 亿不等，可根据推理需求使用。
Cosmos Tokenizers
一套图像和视频分词器，可提升世界模型训练的视觉分词技术水平。
Cosmos WFM 后训练示例
经过后训练的 Cosmos Predict WFM 可为智能汽车生成预测世界状态，根据真值输入创建单视图或多视图视频，从而在智能汽车训练中提高 360 ° 环境意识。
Cosmos Guardrails
一套护栏，包括用于阻挡有害输入的预防护装置和用于确保几代产品安全性和一致性的后防护装置。
Cosmos Prompt Upsampler
将原始输入提示转换为更详细、更丰富的版本，以从 Cosmos WFM 获得更高质量的输出。
入门资源
使用 NVIDIA Cosmos Predict-2 开发自定义物理 AI 基础模型
Cosmos Predict-2 是一套经过改进的物理 AI 基础模型，旨在为训练机器人和智能汽车生成逼真的物理感知仿真数据。
使用新型 Cosmos WFM 进行端到端智能汽车开发
Cosmos Predict-2 和 Cosmos Transfer 通过实现高质量的 SDG 和解锁新的数据源 (例如从单视图素材生成多视图视频) 来加速端到端智能汽车开发。
使用 NVIDIA NeMo Agent 工具包扩展 SDG
智能体工具套件使用 NVIDIA Omniverse、OpenUSD、Cosmos WFM 和 NVIDIA NIM 微服务构建，可自动生成和扩展高质量 SDG，并加速物理 AI 系统的训练和部署。
入门套件
通过使用 Cosmos 开发自定义世界模型或将 Cosmos WFM 用于下游用例，开始解决物理 AI 挑战。探索物理 AI 开发各个阶段的实现脚本、解说员博客和更多操作方法文档。
后训练 Cosmos WFM
Cosmos WFM 专为后训练而设计。使用特定于领域的数据集构建世界模型，或针对不同类型的输出 (例如策略模型的动作生成) 进行后训练。
合成数据生成
为无限个特定领域的合成数据构建和部署世界模型。使用 NVIDIA Omniverse 进行基于物理的调节。
Cosmos 学习资源库
更多资源
道德注意事项
NVIDIA 认为值得信赖的 AI 是一项共同的责任，我们制定了相关政策和实践来支持各种 AI 应用的开发。根据我们的服务条款下载或使用此模型时，开发者应与其内部模型团队合作，确保此模型满足相关行业和用例的要求，并解决不可预见的产品滥用问题。
NVIDIA 与 Google Deepmind 合作，对 NVIDIA API Catalog 中生成的视频进行了水印。
有关此模型道德考虑因素的更多详细信息，请参阅系统卡、模型卡 可解释性、偏差、安全性和隐私子卡。请报告安全漏洞或 NVIDIA AI 问题。
立即开始使用 NVIDIA Cosmos