计算机视觉/视频分析

在 NVIDIA Cosmos 中使用两个提示词构建可供训练的物理 AI 数据集

在编码智能体的统筹下,对物理世界的人工智能数据进行筛选、增强、生成与标注。

世界模型的准确性始于高质量、多样化的训练数据集。然而,捕获罕见缺陷、夜间事故和其他具有挑战性的场景不仅成本高昂,而且十分耗时。将原始数据转换为训练就绪型数据集增加了复杂性,尤其是在使用断开连接的工具和手动流程进行管护、标记、生成和评估时。

NVIDIA 技术正在帮助开发者更轻松地大规模构建高质量、多样化的物理 AI 训练数据集。 NVIDIA Cosmos 是一个开放平台,汇集了用于世界模型开发的前沿模型、数据集、框架和技能。作为该平台的一部分, NVIDIA Cosmos 数据工厂 (CDF) 包含五个云原生 blueprint 和六种可组合技能,可加速数据管护、处理和合成数据生成 (SDG) 。Frontier AI 智能体可用于编排这些 blueprint,无需人工操控即可生成数据提示。

本文仅需两个提示,即可在 Cosmos 中指导您整理和增强数据集,或为物理 AI 模型训练创建异常事件。它具有五个不同的用例。

视频 1. 只需几个提示,即可了解如何使用编码智能体将单个仓库图像转换为经过标记的合成秋季活动视频

设置和配置 Cosmos blueprint 和技能:提示 1

Cosmos 数据工厂包含适用于常见任务的五个参考 blueprint。所有五个 blueprint 均使用 CDF Orchestration 核心技能 运行,该技能可协调工作流程步骤、部署所需服务并管理集群上的执行。

要进行设置,请在您的编码代理中输入以下提示:

Example prompt:
“Clone the CDF Orchestration repository, then run orchestration preflight and setup.”

飞行前无需更改即可检查您的环境,并标记任何缺失的内容。检查通过后,安装程序会让您的环境为运行 blueprint 做好准备。

运行训练数据用例的 blueprint:提示词 2

本节介绍运行该 blueprint 的五个训练数据用例,包括示例提示:

  • 为智能汽车 (智能汽车) 训练生成驾驶场景
  • 增强用于搜索和重新识别的图像属性
  • 增强天气、照明和环境中的视频
  • 生成用于模型训练的罕见事件视频
  • 生成缺陷图像以进行视觉检查

如果您已经有视频片段或图像,并且需要整理和添加更多内容,本节中的第一个用例将涵盖生成驾驶场景、改变人像中的服装属性,以及根据天气、照明和环境条件转换视频。增强用例扩展了现有数据的多样性,但某些训练差距要求创建全新的事件或缺陷。

您的模型可能需要识别漏水的产品或有缺陷的电路板,但您的数据集可能只包含几个示例,甚至不包含任何示例。等待捕获足够多的罕见病例可能需要数年时间,而进行暂存可能非常危险或成本高昂。最后两个用例涵盖从图像或 3D 资产中生成罕见的事件视频和有缺陷的图像,以填补这些空白。

用例 1:为智能汽车训练生成驾驶场景

智能汽车数据集生成 blueprint 可帮助您搜索驾驶场景的大型数据库,并为下游模型训练和验证任务生成新的数据集。 NVIDIA Cosmos Curator 可提取视频数据集输入的元数据,而 NVIDIA Cosmos 数据集搜索可通过这些嵌入查找相关视频。检索到的视频将传递到 NVIDIA Cosmos3-Super-Image2Video 风格转换, Cosmos Evaluator 会检查生成的视频的物理真实性。

Example prompt:
“Search for driving scenes similar to our input video.mp4, transform them into rainy, snowy, and foggy while preserving layout and motion, and check physical plausibility.​”

图 1. AI 智能体负责协调智能汽车数据集生成,根据不同的天气和照明来增强驾驶场景,并检查物理属性

用例 2: 增强用于搜索和重新识别的图像属性

图像属性增强参考 blueprint 可生成具有受控属性更改 (例如服装类型、配饰和颜色) 的人物作物变体。LLM 会将您选择的属性转换为结构化修改提示词,用于生成源图像的增强变体。Cosmos Evaluator 确认所请求的服装属性是否出现。然后,该 blueprint 会使用服装属性和搜索查询自动标记结果,以便进行人员搜索和重新识别。

Example prompt:
“Augment the person crops in <input-bucket>, three clothing variants per person, and write the output to <output-bucket>.”

图 2. AI 智能体可生成人物图像中的服装变化,验证服装的一致性,并标注服装属性

用例 3:增强天气、照明和环境中的视频

视频数据增强参考 blueprint 可在保留场景结构的同时,跨天气、光照和环境条件转换您现有的视频片段。一个视觉语言模型 ( VLM) 描述您的源视频,并将其与您请求的条件相结合,形成一个结构化提示词,Cosmos3-Nano 使用该提示词生成增强的变体。

Cosmos Evaluator 会检查每个生成的片段是否存在源文件中不存在的运动伪影,确认您要求的条件是否实际出现,并对该动作在物理上是否合理进行评分。接下来,该 blueprint 会自动标记源视频和生成的视频,并提供检测、跟踪和说明。然后,它为您提供了一个训练就绪型数据集。

Example prompt:
“Run video data augmentation on the videos in <input-bucket>, create 3 augmentations for yellow lighting, dim lighting and red table. Write the output to <output-bucket>.”

图 3. AI 智能体编排机器人操纵场景的视觉变化,改变照明和桌面外观,同时检查物理合理性

用例 4:生成用于模型训练的罕见事件视频

事件视频生成参考 blueprint 使用源图像创建罕见事件的视频,例如火灾、跌倒或入店行窃。VLM 会将场景描述与您请求的事件合并为结构化提示词。Cosmos3-Super-Image2Video 在生成片段的同时保留源视角和布局。

Cosmos Evaluator 会检查事件是否出现以及动作在物理上是否合理,然后重新尝试失败的片段。传递片段会使用检测、追踪、描述和语义注释自动标记,以便进行下游训练。

Example prompt:
“Run the Event Video Generation blueprint on the image in <input-bucket> to generate 3 clips: normal traffic, stalled vehicle, and collision at the intersection. Write the output to <output-bucket>.”

图 4. AI 智能体从杂货店场景中编排零售活动生成,产生地板上的溢出物、掉落的箱子和货架上的烟雾,然后进行质量审查和注释

用例 5:生成缺陷图像以进行视觉检查

缺陷图像生成参考 blueprint 根据电路板、玻璃面板或金属表面等部件的干净检查图像或 3D USD 资产创建有缺陷的示例。对于 3D 素材, NVIDIA Isaac Sim 渲染检测图像和遮罩,Qwen-Image-Edit 创建逼真的清晰参考图像,称为“黄金图像”。

Cosmos 3 Super 使用这些图像、缺陷遮罩和您要求的缺陷类型来生成缺陷,同时保留周围的部分。它在出厂时针对印刷电路板 (PCB) 、玻璃和金属进行了微调,并为其他用例提供了进一步的微调技能。您可以获得黄金图像、合成缺陷图像,并将每个结果追踪到其来源和生成设置。

Example prompt:
“Run the Defect Image Generation blueprint and generate shift structural defects for images in <input-bucket> with full board coverage. Write the output to <output-bucket>.”

图 5. AI 智能体负责编排 PCB 缺陷数据准备,为元器件旋转缺陷选择 USD 板资产,为超量焊接示例选择真实的检查图像

如何使用 u 核心智能体技能和工具,用于管理、搜索和标记等特定任务

上一节中概述的 blueprint 基于六种核心智能体技能构建而成:自动标记、异常生成、增强、管理和检索、模拟和编排。您可以独立使用这些技能,也可以结合使用它们,围绕自己的数据和目标构建工作流程。

  • 自动标记:通过检测、跟踪、描述和场景理解,将原始视频和图像转换为标注数据集。
  • AnomalyGen :使用遮罩,基于少量示例创建逼真的缺陷图像,用于视觉检查。
  • 增强:针对您无法捕捉的情况,使用 Cosmos 模型生成视频和图像的视觉变化。
  • Curation and Retrieval :使用 Cosmos Curator 和 Cosmos Dataset Search 在大型集合中查找片段和图像。
  • 模拟:使用 Isaac Sim 和 Omniverse Replicator 从 3D 场景中渲染逼真的全标记图像。
  • 编排:在集群上运行参考 blueprint,部署每个所需的服务并进行扩展。
Example prompt:
Clone the auto labeling repo https://github.com/NVIDIA/cdf-auto-labeling/tree/main. Perform video auto-labeling to label my videos at <input-bucket>. Save outputs to <output-bucket>. Use the locally deployed model at <endpoint> for VLM and LLM.

图 6. AI 智能体通过物体追踪、密集字幕、视觉问答和推理来编排视频标记

对于专注于管护和检索的工作流,使用 Cosmos Curator 处理和自动标记原始视频和多模态数据,并使用 Cosmos 数据集搜索跨大型数据集查找有针对性的训练场景。Cosmos Curator 现在支持多摄像头视频、IMU 和 GPS 输入,并在其传感器库中提供初始激光雷达支持。可重复使用的 Python 处理组件和基于 Slurm 编排的 Managed Ray 可帮助团队连接传感器观察结果、测试管护策略并使用备用 GPU 容量。

计划中的扩展包括更多的激光雷达设备、雷达和其他传感器类型。Cosmos 数据集搜索现已在 Apache 2.0 许可下开源,通过多嵌入检索和自适应代理重排序 (抢先体验) 将元数据、场景语义、空间关系和时间行为相结合。其模块化 API 和智能体技能可检索相关视频片段,用于训练数据集或上述增强 blueprint。

生成 t 雨天数据高达 60 倍 faster 和 45x cHeaper

Cosmos 数据工厂技能和 blueprint 将难以收集的训练数据转化为您可以控制的计算工作负载。NVIDIA 团队在搭载 8 块 NVIDIA RTX PRO Blackwell 系列 GPU 的云服务器上测得每日吞吐量,大约为每服务器小时 40 美元,即每天 960 美元,然后将每日成本除以产出,以估算每项资产的成本。

  • AVdataset 生成:每天生成约 130 个边缘案例片段,每个片段的 GPU 计算费用为 2.66 美元,大约比车队工作人员在路上收集的每个场景 125 美元的费用便宜 45 倍。
  • 图像属性增强:增强 = 42649 个标注图像对/ 天,价格为 960 美元/ 天,或每对 0.023 美元,比第三方购买数据的平均值 0.25 美元便宜约 10 倍。
  • 视频数据增强: 增强 = 每天 305 个标注视频片段,每 5 分钟视频片段的价格为 3.15 美元,比我们为第三方数据支付的平均值 ( 22 美元) 便宜约 7 倍。
  • 缺陷图像生成: image generation:将数据集组装时间从两个月缩短到一天,速度提高了 60 倍。
  • 活动视频生成:每天生成约 384 个带标注的视频片段,每个视频片段的价格为 2.50 美元,每个视频片段的生成时间约为 4 分钟,可创建火灾、打架和跌倒的稀缺训练示例,而无需等待或重现危险的真实事件。

借助 Cosmos,训练差距变成了具有可测量计算预算的生成式作业。请注意,这些数字仅涵盖计算;源数据准备、设置、智能体使用、存储和人工审查可能会增加成本。

组织使用 Cosmos 报告了哪些结果和预测结果?

一些组织正在使用 Cosmos 技能和 blueprint 来提高智能汽车、视觉检测和机器人技术的测试、检测和搜索准确性,同时降低成本和工作量。

  • 借助合成数据,真实世界异常数据的召回率提升高达 24% ,海上石油和天然气站点的数据生成成本回报预计提高了 1400 倍。
  • 在自动光学检测 (AOI) 程序生成中,目标是减少多达 85% 的人工工程工作量,误报次数减少 40%。
  • 将重复的物理测试驱动最多减少 90% ,并将 AI 回归测试周期最多缩短 85% (预期) 。
  • 借助 Cosmos Curator 在两周内上市,而预计需要六个月的时间 (在内部构建同等工作流需要时间) 。

开始使用 NVIDIA Cosmos

要为您的应用加速数据管理、处理和合成数据生成,请查看 NVIDIA Cosmos 数据工厂 blueprint 和可组合技能。从与您的用例相匹配的 blueprint 开始,按照设置指南进行操作,并使用您的 AI 智能体运行处理数据的工作流。使用个人技能自定义工作流,以生成带标注的高质量训练数据集。

如需了解更多信息,请在 11 月 19 日加入我们,观看“通过两个提示词构建训练就绪型数据集”的直播。了解如何使用 Cosmos 为智能汽车、机器人和视觉 AI 智能体整理和增强数据集。以 Voxel51 和 Encord 为特色的直播将重点介绍保时捷如何通过 Voxel51 平台使用 Cosmos 数据工厂,以及 Encord 如何与 ANYbotics 合作。

标签