1. [主题](/topics/) [人工智能](/topics/ai/) Cosmos # 面向开发者的 NVIDIA Cosmos [NVIDIA Cosmos™](http://www.nvidia.cn/ai/cosmos) 是一个面向[智能汽车 (AV)](http://www.nvidia.cn/ai/cosmos) 和[机器人开发者](https://www.nvidia.cn/solutions/robotics-and-edge-computing/)，整合了前沿的生成[世界基础模型](https://www.nvidia.com/en-us/glossary/world-models/) (WFM)、高级分词器、护栏以及加速数据处理和管理管道的平台。 更快地构建、评估、部署和模拟[物理 AI](https://www.nvidia.cn/glossary/generative-physical-ai/) 模型，同时更大限度地降低现实世界中的测试和验证风险。 [探索模型](/cosmos?sortBy=developer_learning_library%2Fsort%2Ffeatured_in.cosmos%3Adesc%2Ctitle%3Aasc&hitsPerPage=6#section-cosmos-models)[文档 ](http://docs.nvidia.com/cosmos) * * * ## 工作原理 ![Diagram showing the application and Omniverse Cloud using USD framework](https://developer.download.nvidia.com/images/cosmos/nvidia-cosmos-how-it-works-diagram-ari.jpg) Cosmos WFM 可加速物理 AI 开发，帮助开发者增强数据集，并对机器人和自动驾驶汽车的下游世界模型进行后训练。 [Cosmos 预测](https://huggingface.co/collections/nvidia/cosmos-predict1-67c9d1b97678dbf7669c89a7)根据输入生成下一帧，以构建预测各种边缘案例的数据集，并作为所有世界模型的基础。 [Cosmos 推理](https://huggingface.co/collections/nvidia/cosmos-reason1-67c9e926206426008f1da1b7)充当评论家，使用思维链推理来评估合成视觉效果并奖励结果。它还可以生成描述，以加速数据管护。 [Cosmos Transfer](https://huggingface.co/collections/nvidia/cosmos-reason1-67c9e926206426008f1da1b7)可在各种环境和照明条件下放大结构化视频。 开发者可以使用可用的 PyTorch 推理和后训练脚本以及模型检查点。Cosmos NIM 微服务正在开发中 – Cosmos Predict NIM 微服务现已推出[单击此处](https://build.nvidia.com/search?q=%22cosmos%22+-nemotron)。 * * * ## NVIDIA Cosmos 世界基础模型 一系列用于世界生成的预训练模型，作为加速物理 AI 开发的视频。在 NGC、Hugging Face 和 [GitHub](https://github.com/nvidia-cosmos) 上向开发者公开提供。 ### Cosmos Predict 用于未来世界状态生成，或作为自定义世界模型的基础。 输入：文本或图片 输出：视频 - List item [前往 GitHub 立即体验](https://github.com/nvidia-cosmos/cosmos-predict2) [可在 Hugging Face 尝试模型 checkpoint](https://huggingface.co/collections/nvidia/cosmos-predict2-68028efc052239369a0f2959) ### Cosmos Transfer 用于大规模可控的逼真合成数据。 输入：来自 NVIDIA Omniverse™ 的草图、深度信号、激光雷达扫描、关键点、轨迹、高清地图和真值模拟。 输出：逼真的世界场景，根据输入、镜像布局、物体放置和运动进行调整。 [立即体验请前往 GitHub](https://github.com/nvidia-cosmos/cosmos-transfer1) [模型 checkpoint 可在 Hugging Face 试用](https://huggingface.co/collections/nvidia/cosmos-transfer1-67c9d328196453be6e568d3e) ### Cosmos Reason 用于合成数据整理、机器人决策以及 AI 智能体运行时视频分析的世界推理。 输入：视频 输出：链式推理和文本 [演示模型 ](https://build.nvidia.com/nvidia/cosmos-reason1-7b) [GitHub 快速开始 ](https://github.com/nvidia-cosmos/cosmos-reason1) [试用模型检查点（Hugging Face）](https://huggingface.co/collections/nvidia/cosmos-reason1-67c9e926206426008f1da1b7) ### Cosmos Curator 使用先进 AI 模型和分布式计算，过滤、标注并去重大规模数据集，助力物理智能开发。 [立即开始体验](https://github.com/nvidia-cosmos/cosmos-curate) ### Cosmos Guardrails 一套护栏，包括用于阻挡有害输入的预防护装置和用于确保几代产品安全性和一致性的后防护装置。 [下载 Cosmos Guardrail](https://huggingface.co/nvidia/Cosmos-1.0-Guardrail) ### Cosmos Prompt Upsampler 将原始输入提示转换为更详细、更丰富的版本，以从 Cosmos WFM 获得更高质量的输出。 [下载 Cosmos Prompt Upsampler](https://huggingface.co/nvidia/Cosmos-1.0-Prompt-Upsampler-12B-Text2World) ### Cosmos 数据集 搜索 使用基于 Cosmos 数据集搜索向量的搜索工作流，从大型训练数据集中即时搜索和检索场景，以进行有针对性的后训练。 在 GitHub 上开始使用 [查看 GitHub 开始使用](https://github.com/NVIDIA-Omniverse-blueprints/cosmos-dataset-search) ## 入门资源 ### Cosmos Cookbook：物理 AI 模型实用指南 Cosmos Cookbook 是一份开源指南，包含分步工作流程和示例，用于在现实世界应用中部署和定制 NVIDIA Cosmos 世界基础模型。 [阅读指南](https://nvidia-cosmos.github.io/cosmos-cookbook/) ### Cosmos Predict 2.5 和 Transfer 2.5 的更新版本 Cosmos Predict 2.5 和 Transfer 2.5 通过统一多模态世界生成和改进空间控制世界转换，推动可扩展的高效物理 AI，推进 NVIDIA 世界基础模型的发展。 [阅读 Hugging Face 博客](https://huggingface.co/blog/nvidia/cosmos-predict-and-transfer2-5) ### 基于视频基础模型的世界仿真 NVIDIA Cosmos 白皮书介绍了一个开放平台，包含世界基础模型、视频筛选工具和分词器，旨在帮助开发者高效地定制、生成和模拟基于物理学的数据，从而推动机器人和自动驾驶等物理 AI 应用的发展。 [阅读白皮书](https://research.nvidia.com/publication/2025-09_world-simulation-video-foundation-models-physical-ai) * * * ## 入门套件 通过使用 Cosmos 开发自定义世界模型或将 Cosmos WFM 用于下游用例，开始解决物理 AI 挑战。探索物理 AI 开发各个阶段的实现脚本、解说员博客和更多操作方法文档。 ### 后训练 Cosmos WFM Cosmos WFM 专为后训练而设计。使用特定于领域的数据集构建世界模型，或针对不同类型的输出 (例如策略模型的动作生成) 进行后训练。 - [后训练脚本](https://github.com/nvidia-cosmos/cosmos-reason1/blob/main/docs/UserGuide.md) - [Cosmos Tokenizer 文档](https://github.com/NVIDIA/Cosmos/tree/main/cosmos1/models/tokenizer) - [NVIDIA NeMo™ Data Curator 抢先体验](/nemo-microservices) - [物理 AI 开源数据集](https://huggingface.co/collections/nvidia/physicalai-67c643edbb024053dcbcd6d8) ### 合成数据生成 为无限个特定领域的合成数据构建和部署世界模型。使用 NVIDIA Omniverse 进行基于物理的调节。 - [推理脚本](https://github.com/nvidia-cosmos/cosmos-transfer1) - [工作流指南和文档](https://docs.omniverse.nvidia.com/guide-sdg/latest/index.html) - [Cosmos NVIDIA NIM™ 微服务](https://build.nvidia.com/search?q=%22cosmos%22+-nemotron) - [Cosmos 物理 AI 简介课程](https://learn.nvidia.com/courses/course-detail?course_id=course-v1:DLI+S-OV-42+V1) - [Cosmos 合成数据集增强](https://docs.omniverse.nvidia.com/guide-sdg/latest/case-studies/case4.html) ### 视觉语言模型 视觉语言模型 (VLM) 是能够理解和处理视频、图像和文本的多模态生成式 AI 模型。 - [产品教育技术博客](https://developer.nvidia.com/zh-cn/blog/maximize-robotics-performance-by-post-training-nvidia-cosmos-reason/) - [Github 资源](https://github.com/nvidia-cosmos/cosmos-reason1) - [后训练脚本](https://github.com/nvidia-cosmos/cosmos-reason1/blob/main/examples/post_training/README.md) - [Cosmos Cookbook](https://nvidia-cosmos.github.io/cosmos-cookbook/) - [开始原型设计](https://build.nvidia.com/nvidia/cosmos-reason1-7b/deploy) - [文档](https://docs.nvidia.com/cosmos/latest/reason1/quickstart_guide.html#) ### 使用 Cosmos Reason 构建视频分析 AI 智能体 使用 NVIDIA Cosmos 推理和 NVIDIA Blueprint 构建视频分析 AI 智能体，实现视频搜索和摘要 (VSS) 。 - [产品教育技术博客](https://developer.nvidia.com/zh-cn/blog/how-to-integrate-computer-vision-pipelines-with-generative-ai-and-reasoning/) - [试用 Blueprint](https://build.nvidia.com/nvidia/video-search-and-summarization) - [Github 资源](https://github.com/NVIDIA-AI-Blueprints/video-search-and-summarization) - [部署 Launchable](https://brev.nvidia.com/launchable/deploy?launchableID=env-2tYIjRXL4eMCbH9Az8mJC5WPAI4) - [文档](https://docs.nvidia.com/vss/latest/index.html#) * * * ## Cosmos 学习资源库 ## * * * 更多资源 ![NVIDIA Developer Forums](https://developer.download.nvidia.com/icons/m48-communication-chat.svg) ### GitHub 论坛 ![NVIDIA Training and Certification](https://developer.download.nvidia.com/icons/m48-misc-question-faq.svg) ### 阅读 Cosmos 常见问题解答 ![NVIDIA Inception Program for Startups](https://developer.download.nvidia.com/icons/m48-email-settings.svg) ### 注册以获取 开发者时事通讯 * * * ## 道德考量 NVIDIA 认为值得信赖的 AI 是一项共同的责任，我们制定了相关政策和实践来支持各种 AI 应用的开发。根据我们的服务条款下载或使用此模型时，开发者应与其内部模型团队合作，确保此模型满足相关行业和用例的要求，并解决不可预见的产品滥用问题。 NVIDIA 与 Google Deepmind 合作，对 NVIDIA API Catalog 中生成的视频进行了水印。 有关此模型道德考虑因素的更多详细信息，请参阅[系统卡](https://nvdam.widen.net/s/knnqs6ghqn/nvidia-cosmos-system-card)、模型卡 可解释性、偏差、安全性和隐私子卡。请报告安全漏洞或 NVIDIA AI 问题。 **立即开始使用 NVIDIA Cosmos** [立即试用 ](https://github.com/nvidia-cosmos)