世界模型的准确性始于高质量、多样化的训练数据集。然而,捕获罕见缺陷、夜间事故和其他具有挑战性的场景不仅成本高昂,而且十分耗时。将原始数据转换为训练就绪型数据集增加了复杂性,尤其是在使用断开连接的工具和手动流程进行管护、标记、生成和评估时。
NVIDIA 技术正在帮助开发者更轻松地大规模构建高质量、多样化的物理 AI 训练数据集。 NVIDIA Cosmos 是一个开放平台,汇集了用于世界模型开发的前沿模型、数据集、框架和技能。作为该平台的一部分, NVIDIA Cosmos 数据工厂 (CDF) 包含五个云原生 blueprint 和六种可组合技能,可加速数据管护、处理和合成数据生成 (SDG) 。Frontier AI 智能体可用于编排这些 blueprint,无需人工操控即可生成数据提示。
本文仅需两个提示,即可在 Cosmos 中指导您整理和增强数据集,或为物理 AI 模型训练创建异常事件。它具有五个不同的用例。
设置和配置 Cosmos blueprint 和技能:提示 1
Cosmos 数据工厂包含适用于常见任务的五个参考 blueprint。所有五个 blueprint 均使用 CDF Orchestration 核心技能 运行,该技能可协调工作流程步骤、部署所需服务并管理集群上的执行。
要进行设置,请在您的编码代理中输入以下提示:
Example prompt:“Clone the CDF Orchestration repository, then run orchestration preflight and setup.” |
|---|
飞行前无需更改即可检查您的环境,并标记任何缺失的内容。检查通过后,安装程序会让您的环境为运行 blueprint 做好准备。
运行训练数据用例的 blueprint:提示词 2
本节介绍运行该 blueprint 的五个训练数据用例,包括示例提示:
- 为智能汽车 (智能汽车) 训练生成驾驶场景
- 增强用于搜索和重新识别的图像属性
- 增强天气、照明和环境中的视频
- 生成用于模型训练的罕见事件视频
- 生成缺陷图像以进行视觉检查
如果您已经有视频片段或图像,并且需要整理和添加更多内容,本节中的第一个用例将涵盖生成驾驶场景、改变人像中的服装属性,以及根据天气、照明和环境条件转换视频。增强用例扩展了现有数据的多样性,但某些训练差距要求创建全新的事件或缺陷。
您的模型可能需要识别漏水的产品或有缺陷的电路板,但您的数据集可能只包含几个示例,甚至不包含任何示例。等待捕获足够多的罕见病例可能需要数年时间,而进行暂存可能非常危险或成本高昂。最后两个用例涵盖从图像或 3D 资产中生成罕见的事件视频和有缺陷的图像,以填补这些空白。
用例 1:为智能汽车训练生成驾驶场景
智能汽车数据集生成 blueprint 可帮助您搜索驾驶场景的大型数据库,并为下游模型训练和验证任务生成新的数据集。 NVIDIA Cosmos Curator 可提取视频数据集输入的元数据,而 NVIDIA Cosmos 数据集搜索可通过这些嵌入查找相关视频。检索到的视频将传递到 NVIDIA Cosmos3-Super-Image2Video 风格转换, Cosmos Evaluator 会检查生成的视频的物理真实性。
Example prompt:“Search for driving scenes similar to our input video.mp4, transform them into rainy, snowy, and foggy while preserving layout and motion, and check physical plausibility.” |
|---|

图 1. AI 智能体负责协调智能汽车数据集生成,根据不同的天气和照明来增强驾驶场景,并检查物理属性
用例 2: 增强用于搜索和重新识别的图像属性
图像属性增强参考 blueprint 可生成具有受控属性更改 (例如服装类型、配饰和颜色) 的人物作物变体。LLM 会将您选择的属性转换为结构化修改提示词,用于生成源图像的增强变体。Cosmos Evaluator 确认所请求的服装属性是否出现。然后,该 blueprint 会使用服装属性和搜索查询自动标记结果,以便进行人员搜索和重新识别。
Example prompt:“Augment the person crops in <input-bucket>, three clothing variants per person, and write the output to <output-bucket>.” |
|---|

图 2. AI 智能体可生成人物图像中的服装变化,验证服装的一致性,并标注服装属性
用例 3:增强天气、照明和环境中的视频
视频数据增强参考 blueprint 可在保留场景结构的同时,跨天气、光照和环境条件转换您现有的视频片段。一个视觉语言模型 ( VLM) 描述您的源视频,并将其与您请求的条件相结合,形成一个结构化提示词,Cosmos3-Nano 使用该提示词生成增强的变体。
Cosmos Evaluator 会检查每个生成的片段是否存在源文件中不存在的运动伪影,确认您要求的条件是否实际出现,并对该动作在物理上是否合理进行评分。接下来,该 blueprint 会自动标记源视频和生成的视频,并提供检测、跟踪和说明。然后,它为您提供了一个训练就绪型数据集。
Example prompt: “Run video data augmentation on the videos in <input-bucket>, create 3 augmentations for yellow lighting, dim lighting and red table. Write the output to <output-bucket>.” |
|---|

图 3. AI 智能体编排机器人操纵场景的视觉变化,改变照明和桌面外观,同时检查物理合理性
用例 4:生成用于模型训练的罕见事件视频
事件视频生成参考 blueprint 使用源图像创建罕见事件的视频,例如火灾、跌倒或入店行窃。VLM 会将场景描述与您请求的事件合并为结构化提示词。Cosmos3-Super-Image2Video 在生成片段的同时保留源视角和布局。
Cosmos Evaluator 会检查事件是否出现以及动作在物理上是否合理,然后重新尝试失败的片段。传递片段会使用检测、追踪、描述和语义注释自动标记,以便进行下游训练。
Example prompt:“Run the Event Video Generation blueprint on the image in <input-bucket> to generate 3 clips: normal traffic, stalled vehicle, and collision at the intersection. Write the output to <output-bucket>.” |
|---|

图 4. AI 智能体从杂货店场景中编排零售活动生成,产生地板上的溢出物、掉落的箱子和货架上的烟雾,然后进行质量审查和注释
用例 5:生成缺陷图像以进行视觉检查
缺陷图像生成参考 blueprint 根据电路板、玻璃面板或金属表面等部件的干净检查图像或 3D USD 资产创建有缺陷的示例。对于 3D 素材, NVIDIA Isaac Sim 渲染检测图像和遮罩,Qwen-Image-Edit 创建逼真的清晰参考图像,称为“黄金图像”。
Cosmos 3 Super 使用这些图像、缺陷遮罩和您要求的缺陷类型来生成缺陷,同时保留周围的部分。它在出厂时针对印刷电路板 (PCB) 、玻璃和金属进行了微调,并为其他用例提供了进一步的微调技能。您可以获得黄金图像、合成缺陷图像,并将每个结果追踪到其来源和生成设置。
Example prompt:“Run the Defect Image Generation blueprint and generate shift structural defects for images in <input-bucket> with full board coverage. Write the output to <output-bucket>.” |
|---|

图 5. AI 智能体负责编排 PCB 缺陷数据准备,为元器件旋转缺陷选择 USD 板资产,为超量焊接示例选择真实的检查图像
如何使用 u 核心智能体技能和工具,用于管理、搜索和标记等特定任务
上一节中概述的 blueprint 基于六种核心智能体技能构建而成:自动标记、异常生成、增强、管理和检索、模拟和编排。您可以独立使用这些技能,也可以结合使用它们,围绕自己的数据和目标构建工作流程。
- 自动标记:通过检测、跟踪、描述和场景理解,将原始视频和图像转换为标注数据集。
- AnomalyGen :使用遮罩,基于少量示例创建逼真的缺陷图像,用于视觉检查。
- 增强:针对您无法捕捉的情况,使用 Cosmos 模型生成视频和图像的视觉变化。
- Curation and Retrieval :使用 Cosmos Curator 和 Cosmos Dataset Search 在大型集合中查找片段和图像。
- 模拟:使用 Isaac Sim 和 Omniverse Replicator 从 3D 场景中渲染逼真的全标记图像。
- 编排:在集群上运行参考 blueprint,部署每个所需的服务并进行扩展。
Example prompt:Clone the auto labeling repo https://github.com/NVIDIA/cdf-auto-labeling/tree/main. Perform video auto-labeling to label my videos at <input-bucket>. Save outputs to <output-bucket>. Use the locally deployed model at <endpoint> for VLM and LLM. |
|---|

图 6. AI 智能体通过物体追踪、密集字幕、视觉问答和推理来编排视频标记
对于专注于管护和检索的工作流,使用 Cosmos Curator 处理和自动标记原始视频和多模态数据,并使用 Cosmos 数据集搜索跨大型数据集查找有针对性的训练场景。Cosmos Curator 现在支持多摄像头视频、IMU 和 GPS 输入,并在其传感器库中提供初始激光雷达支持。可重复使用的 Python 处理组件和基于 Slurm 编排的 Managed Ray 可帮助团队连接传感器观察结果、测试管护策略并使用备用 GPU 容量。
计划中的扩展包括更多的激光雷达设备、雷达和其他传感器类型。Cosmos 数据集搜索现已在 Apache 2.0 许可下开源,通过多嵌入检索和自适应代理重排序 (抢先体验) 将元数据、场景语义、空间关系和时间行为相结合。其模块化 API 和智能体技能可检索相关视频片段,用于训练数据集或上述增强 blueprint。
生成 t 雨天数据高达 60 倍 faster 和 45x cHeaper
Cosmos 数据工厂技能和 blueprint 将难以收集的训练数据转化为您可以控制的计算工作负载。NVIDIA 团队在搭载 8 块 NVIDIA RTX PRO Blackwell 系列 GPU 的云服务器上测得每日吞吐量,大约为每服务器小时 40 美元,即每天 960 美元,然后将每日成本除以产出,以估算每项资产的成本。
- AVdataset 生成:每天生成约 130 个边缘案例片段,每个片段的 GPU 计算费用为 2.66 美元,大约比车队工作人员在路上收集的每个场景 125 美元的费用便宜 45 倍。
- 图像属性增强:增强 = 42649 个标注图像对/ 天,价格为 960 美元/ 天,或每对 0.023 美元,比第三方购买数据的平均值 0.25 美元便宜约 10 倍。
- 视频数据增强: 增强 = 每天 305 个标注视频片段,每 5 分钟视频片段的价格为 3.15 美元,比我们为第三方数据支付的平均值 ( 22 美元) 便宜约 7 倍。
- 缺陷图像生成: image generation:将数据集组装时间从两个月缩短到一天,速度提高了 60 倍。
- 活动视频生成:每天生成约 384 个带标注的视频片段,每个视频片段的价格为 2.50 美元,每个视频片段的生成时间约为 4 分钟,可创建火灾、打架和跌倒的稀缺训练示例,而无需等待或重现危险的真实事件。
借助 Cosmos,训练差距变成了具有可测量计算预算的生成式作业。请注意,这些数字仅涵盖计算;源数据准备、设置、智能体使用、存储和人工审查可能会增加成本。
组织使用 Cosmos 报告了哪些结果和预测结果?
一些组织正在使用 Cosmos 技能和 blueprint 来提高智能汽车、视觉检测和机器人技术的测试、检测和搜索准确性,同时降低成本和工作量。
- 借助合成数据,真实世界异常数据的召回率提升高达 24% ,海上石油和天然气站点的数据生成成本回报预计提高了 1400 倍。
- 在自动光学检测 (AOI) 程序生成中,目标是减少多达 85% 的人工工程工作量,误报次数减少 40%。
- 将重复的物理测试驱动最多减少 90% ,并将 AI 回归测试周期最多缩短 85% (预期) 。
- 借助 Cosmos Curator 在两周内上市,而预计需要六个月的时间 (在内部构建同等工作流需要时间) 。
开始使用 NVIDIA Cosmos
要为您的应用加速数据管理、处理和合成数据生成,请查看 NVIDIA Cosmos 数据工厂 blueprint 和可组合技能。从与您的用例相匹配的 blueprint 开始,按照设置指南进行操作,并使用您的 AI 智能体运行处理数据的工作流。使用个人技能自定义工作流,以生成带标注的高质量训练数据集。
如需了解更多信息,请在 11 月 19 日加入我们,观看“通过两个提示词构建训练就绪型数据集”的直播。了解如何使用 Cosmos 为智能汽车、机器人和视觉 AI 智能体整理和增强数据集。以 Voxel51 和 Encord 为特色的直播将重点介绍保时捷如何通过 Voxel51 平台使用 Cosmos 数据工厂,以及 Encord 如何与 ANYbotics 合作。