代理式 AI 工作流可用于为数字孪生准备和验证物理 AI 系统。智能体可以检查 3D 场景、在OpenUSD 中生成仿真相关数据、添加物理属性、渲染飞行前视图，并根据仿真就绪 (SimReady) 要求验证结果。从Blender 中的场景到NVIDIA Isaac Sim 或NVIDIA Isaac Lab 的仿真就绪 OpenUSD 传递，此工作流遵循该流程。
然而，在实践中，如果您要构建机器人智能体，工作流程往往会陷入困境。我们很容易将困难部分归责于策略、模型或训练循环，但瓶颈往往发生得更早：机器人没有一个可供训练的仿真环境。让 3D 场景进入该状态所需的额外工作既费力又耗时，而且经常超出机器人仿真工程师的工作范围。
本文将介绍使用 NVIDIA Omniverse 库 为机器人仿真准备 Blender 场景的智能体工作流。Codex 由 OpenAI GPT-6 Astra 提供支持，可协调整体任务、解释结果并指导迭代。使用爱马士智能体构建并通过 NVIDIA NemoClaw 部署的专用子智能体使用 Omniverse 库来检查场景、创作仿真元数据、配置物理特性并渲染视觉预演视图。
这些组件共同将推理、工具执行和验证连接到一个可重复的过程中，以提供一个仿真就绪型 OpenUSD 世界。
为什么准备用于仿真的 3D 场景具有挑战性？
场景已经存在，素材已经存在，由一位 3D 艺术家在 Blender 中创建，但它是否可以用于仿真？是否已完成以下所有准备工作？
- 物体是否已标记？
- 碰撞网格是否正确？
- 材质对仿真是否有意义？
- 传感器是否已放置和配置？
- 场景是否完全导出为 USD？
- 机器人能感知目标物体吗？
- 在您在 Isaac Sim 或 Isaac Lab 中进行调试之前，场景是否会通过验证？
这项准备工作繁琐、重复且容易出错。如果有合适的工具，这也正是工作代理系统应该提供的帮助。在智能体工作流中使用 NVIDIA Omniverse 库的目的是集成智能体构建 SimReady 世界所需的工具。
智能体如何帮助准备用于仿真的 3D 场景？
ChatGPT 的 Codex 或 Anthropic 的 Claude Cowork 等通用智能体可以查看 Blender 场景，并识别出需要将其变为仿真就绪型。识别是有用的，但这还不够。为了帮助机器人开发者，智能体必须能够在场景中采取行动：
- 查看 Blender 场景
- 识别缺失的模拟元数据
- 添加语义标签
- 配置传感器
- 作者碰撞形状和物理属性
- 渲染视觉预览视图
- 运行 SimReady 验证
- 自动修复安全问题
- 将模棱两可的决策上报给人类
让 3D 场景为仿真做好准备的广泛要求成为了多智能体工程工作流程。Codex 或 Claude 担任主要智能体，负责协调场景模拟准备工作的整体任务。NVIDIA NemoClaw 提供了一个参考架构，用于构建执行每项作业的专用子智能体。这些子智能体可以使用开源智能体工具 (例如，为视觉、推理和工具使用配置了不同的 NVIDIA Nemotron 模型) ，如 Hermes、OpenClaw 或 LangChain。
在使用 Astra 和 Hermes 的配置中，Codex 使用 Astra 将开发者的目标转化为任务、识别依赖项，并查看通过 NemoClaw 部署的专用 Hermes 子代理的结果。例如，要使物体可抓取，需要对其语义标签、刚体配置和碰撞几何图形进行协调更新。Astra 有助于跨子智能体连接这些要求，并确定在工作流程开始之前需要进行哪些检查。
NVIDIA Omniverse 库提供子智能体调用的工具，以在场景中采取行动。OpenUSD 操作建立共享场景结构、ovphysx 用于编写和检查物理属性，ovrtx 渲染视觉预飞行视图，SimReady 验证根据目标仿真配置文件评估生成的资产。
每个子智能体都有特定的工作及其接受标准。安全的机械问题可以自动修复。将取决于开发者意图的决策 (例如不确定的语义标签或物理行为) 上报给具有相关上下文和提议的下一步的人类。
模式为：
- Codex 或克劳德坐标
- NemoClaw 智能体的原因
- Omniverse 库
这些层共同将提示词“Make this scene simulation-ready” (让场景仿真就绪) 转变为工具驱动的工作流，其中包含专门的作业、持久的场景状态、验证门和人工审查 (在判断方面至关重要) 。
如何使用智能体准备用于仿真的 3D 场景
首先，指定编排智能体的主要目标，包括输入、所需输出、目标和验证标准。这为 Codex 或 Claude 提供了足够的结构来协调整体任务，在专门的 NemoClaw 子智能体中规划工作路线，并决定工作实际何时完成。
Input: Blender scene
Goal: Prepare it for robotics simulation
Output: USD-based simulation-ready world
Destination: Isaac Sim or Isaac Lab
Validation: Visual preflight + SimReady validation
通过指定主要目标，任务从简单的“改善此场景”转变为协调的智能体工作流。Codex (即克劳德) 管理整体请求，NemoClaw 子代理通过专门作业进行推理，Omniverse 库提供用于修改、渲染、验证和准备环境的工具。
设定目标后，请按照以下步骤操作。
第 1 步：通过 Blender MCP 查看场景
第一个子代理通过模型上下文协议 (MCP) 服务器连接到 Blender，并使用它来盘点场景。MCP 为智能体提供了一个进入 Blender 的受控工具界面：智能体可以调用工具来检查对象、集合、转换、材质、摄像头、灯光和场景元数据，而不是根据屏幕截图猜测或依赖手动导出。该场景清单将成为其余子代理使用的共享上下文。
此子智能体应回答：
- 存在哪些对象？
- 存在哪些集合和层次结构？
- 分配哪些材质？
- 有哪些摄像头和光源？
- 机器人目标、障碍物、地板、架子或箱子是什么样子？
- 缺少哪些模拟数据？
输出的结构应如下所示：
{
"objects": 142,
"materials": 37,
"missing": [
"semantic_labels",
"collision_meshes",
"camera_sensors",
"physics_materials"
]
}
这为其他子代理提供了一个共享的起点。
Hermes inspection subagent 将其结构化结果返回给 Codex。Astra 使用此清单和开发者的机器人开发目标来识别缺失的信息并规划后续任务。例如，识别机器人的目标对象有助于确定哪些素材需要可移动物体属性，以及哪些传感器视角需要审核。然后，Codex 将这些任务委托给通过 NemoClaw 部署的相关爱马士子代理，并附带明确的接受标准和未解决的假设，以供开发者输入。
本文中的工作流使用 Alex Trevino 的 The Junkshop ( Anais Maamar 的原始概念) 进行演示 (图 2) 。Codex 会协调 NemoClaw 来编排所请求任务所需的子代理。在此示例中，NemoClaw 正在通过 Blender MCP 运行“垃圾商店 ( The Junkshop) ”场景，并清点对象、材质、场景结构等。
第 2 步：转为使用 USD 作为合约
Blender 是创作环境。USD 是仿真的传递，因为它为智能体和下游工具提供了一个共享的、结构化的世界表示。将场景创作成 USD 后，子代理可以检查基元、添加元数据、验证要求，并将同一世界转发给 Isaac Sim 或 Isaac Lab，而无需依赖脆弱的一次性导出。
USD 创作代理使用 Omniverse 库来保留层次结构、转换、材质、标签、物理元数据和传感器定义。
对于智能体构建器而言，一条有用的规则是：如果其他智能体或模拟器稍后需要依赖它，请将其授权为 USD。
USD 专为分层的非破坏性场景合成而构建，因此智能体可以添加标签、物理元数据、传感器定义、材质和验证数据，而无需将原始创意工作展平。这样可以避免工作流成为被困在一个工具中的临时编辑的集合，并为每个下游步骤提供一个可检查的共享事实来源。
第 3 步：添加语义标签
机器人不仅需要几何图形。它们需要意义。语义标记智能体可将匿名网格转换为任务感知对象：货架、箱子、地板、障碍物、可抓取物品和机器人目标。通过将这些标签创作成 USD，该工作流可为下游智能体和机器人工具提供用于感知、验证、合成数据和训练设置的共享词汇表。
语义标记智能体使用与任务相关的类标记基元：
shelfbinboxfloorobstaclegrabbable_objectrobot_targetno_go_zone
智能体可以根据对象名称、层次结构、形状和上下文推理标签。但它也应该标记不确定性：
Tagged 118 prims.
9 labels need review.
图 4 显示了 Codex 如何编排 NVIDIA NemoClaw。NemoClaw 通过 Blender MCP 与子代理进行协调。NVIDIA Omniverse 库是子智能体执行任务时使用的工具。在此实例中，ovrtx 智能体通过此工作流检查 Blender 场景，并应用场景实现机器人仿真就绪所需的语义分割和标签。
这一点很重要，因为标签可成为场景内容与机器人工作流 (感知、任务设置、合成数据和验证) 之间的桥梁。
第 4 步：创建材质仿真感知
在 Blender 中看起来很好的材质可能仍然不完整，无法进行模拟。在视窗中，货架看起来可能是金属材质，而箱子看起来可能是塑料材质。在机器人工作流中，这些表面需要下游系统用于渲染、感知、物理、域随机化和验证的材质属性。材质智能体可将视觉外观转化为仿真有用的元数据。
材质智能体应检查视觉材质并创作与仿真相关的材质元数据。在仓库场景中，这可能意味着要识别金属货架、纸箱、塑料箱、混凝土地板、橡胶轮或玻璃板。
目标不是让材质更漂亮。目标是提供更有用的仿真和验证信息。
第 5 步：尽早创建传感器
如果机器人需要感知世界，就不应在训练环境中事后考虑传感器。摄像头和激光雷达配置决定了机器人可以观察到的内容、生成的数据，以及训练场景是否反映了真正的任务。借助早期创作传感器，智能体可在场景到达 Isaac Sim 或 Isaac Lab 之前验证位置、视野、范围、轮询率、遮挡和目标可见性。
传感器子智能体可以使用以下技术将摄像头和激光雷达传感器创作到场景中：
- 职位
- 入职培训
- 视野
- 轮询率
- 范围
- 分辨率
- 目标帧
这种方法允许工作流程在训练开始前提出有用的问题：
- 机器人能看到目标吗？
- 传感器是否阻塞？
- 视野是否有用？
- 从预期视角来看，训练对象是否可见？
图 6 显示了 NemoClaw 编排子代理以调用作业所需的工具：ovrtx。ovrtx 加载包含已配置激光雷达的场景，预热传感器工作流，渲染一个激光点云帧，使用计数通道读取有效的点数据，打印汇总统计数据，并使用基于强度的颜色将各点可视化。
第 6 步：使用 ovphysx 实现物理就绪
此时，场景不再只是视觉效果。它变成了一个物理感知的数字孪生世界。物体不再只是材质的网格，而是具有碰撞形状、质量、摩擦力、刚体行为以及交互规则。这意味着可以捡起一个盒子，架子可以阻挡运动，机器人可以在一个物理行为而不仅仅是看起来正确的世界中测试动作。
ovphysx 子代理添加或验证以下内容：
- 碰撞网格
- 静态碰撞器
- 刚体
- 质量属性
- 摩擦
- 恢复原状
- 物理材质
- 可移动物体与固定物体
常见故障恰好是以后难以解决的繁琐问题：
46 objects missing collision meshes.
12 grabbable objects marked static.
7 collision meshes too complex.
3 props floating above the floor.
ovphysx 智能体负责这项工作。它可以将这些发现转化为维修计划，自动应用安全修复，并将模棱两可的情况交给人工处理。
例如，该智能体可以为静态道具生成简单的碰撞网格，将地板和货架标记为固定的碰撞体，为可抓取物体分配刚体属性，并标记物理行为取决于任务意图的任何内容。输出结果不仅仅是一个更简洁的场景，而是下游智能体和验证工具可以使用的物理就绪性报告。
图 7 展示了 NemoClaw 编排子代理以调用启用 3D 场景物理效果所需的适当工具：ovphysx。ovphysx 用于添加刚体属性、碰撞体、质量和摩擦属性，以确保场景在传输到 Isaac Sim 或 Isaac Lab 时可随时进行仿真。
第 7 步：使用 ovrtx 作为预飞循环
为什么要在模拟之前进行渲染？因为验证可以告诉智能体场景在结构上是可接受的，但渲染会显示场景是否可用。ovrtx 智能体可以生成机器人摄像头并查看视图，检查隐藏目标、不良照明、传感器剪断、损坏的材料或不可读的物体，并在浪费训练时间之前将问题传送回正确的修复代理。
ovrtx 智能体渲染审查和机器人视点，因此工作流可以检查关键点：
- 目标物体是否可见？
- 可以看到的物体是否附加了标签？
- 材质渲染是否正确？
- 照明在物理上是否合理？
- 摄像头是否被挡住或剪断？
- 物体比例看起来是否合理？
目前，ovrtx 正在为智能体工作流提供可视化 QA。
在 NemoClaw 环境中运行的 Hermes 渲染子代理会调用 ovrtx 生成审核图像，并将其与相关场景元数据一起返回至 Codex。Astra 可以利用这些证据来调查差异并协调有针对性的后续任务。如果机器人摄像头视图中没有标记的目标，Codex 可以要求传感器和场景检查子代理检查摄像头方向、裁剪设置和可能的遮挡物。校正后，渲染子代理生成另一个视图，以便检查结果。这将视觉审查与可行的修复循环联系起来。
第 8 步：运行 SimReady 验证
最后，验证代理针对目标配置文件运行 SimReady 验证。这是智能体工作流的验收门户。SimReady Foundation 为仿真就绪型 USD 内容定义了标准和验证配置文件，验证智能体使用这些配置文件来检查场景是否真的准备好继续。如果验证失败，报告将成为修复代理的任务列表。如果它通过了，场景就可以进行 Isaac Sim 或 Isaac Lab 交接了。
报告应可行：
Validation failed: 14 issues
- 10 auto-fixable
- 4 require review
修复智能体可以修复安全问题。系统会向人类报告模糊的故障。例如，“我自动修复了 10 个验证问题。四类需要审查：两个不确定的语义标签、一个物理设置冲突的可抓取物体，以及一个可能是障碍物或目标的物体。”人类批准预期行为，然后代理应用修复并重新运行验证。
Hermes 验证子智能体将 SimReady 报告返回给 Codex，其中 Astra 可帮助确定需要进行哪些维修和后续检查。Codex 将这些任务委托给通过 NemoClaw 部署的相应的 Hermes 子代理。移动传感器可能需要进行另一次 ovrtx 可见性检查，而更改物体的角色可能需要更新语义标签和物理属性。子代理应用已批准的更改并重新运行相关检查，而 Codex 则为开发者总结更改、验证证据和未解决的决策。
目标是创建符合仿真合同的场景，而不仅仅是文件导出。
图 9 展示了 NemoClaw 编排子代理以调用 SimReady Blender 插件，该插件用于验证目标 SimReady 配置文件上的场景。如果验证报告了任何故障，智能体将在继续之前进行人工审核。
开始准备用于仿真的 3D 场景
策略运行时，机器人训练不会开始。当世界准备就绪时，它就开始了，这需要的不仅仅是一个看起来不错的场景。它需要一个包含语义标签、仿真感知材质、传感器、物理属性、视觉预飞以及针对目标配置文件进行验证的 USD 世界。这是太多繁琐的胶水工作，完全由人类来完成，太具体了，仅凭提示就无法解决。
有用的模式是一组具有真实工具的子代理：
Blender MCP inspects the scene.
Omniverse Libraries author the world.
USD carries the contract.
Semantic labels add meaning.
Sensors define perception.
ovphysx makes it physical.
ovrtx makes it visually testable.
SimReady validation makes it acceptable.
Isaac Sim / Isaac Lab makes it trainable.
未来的发展道路是使用真实工具进行代理式工程：用于编排的 Codex 或 Claude、用于协调子代理的 NemoClaw，以及允许这些代理在场景中行动的 NVIDIA Omniverse 库。
推荐的系统包括：
- NVIDIA DGX Spark：非常适合本地原型设计，具有 128GB 一致的统一系统内存。使用它开发 NemoClaw 子代理、通过 MCP 连接到 Blender、制作 USD、运行 SimReady 验证，以及从桌面系统测试 ovrtx 或 ovphysx 循环。
- NVIDIA DGX 工作站：由 NVIDIA GB300 Grace Blackwell Ultra 桌面级超级芯片提供动力支持的终极桌边型 AI 超级计算机，具有高达 748 GB 的一致性内存，用于本地 AI 开发、推理和代理式工作流，可通过额外的 NVIDIA RTX PRO Blackwell 架构工作站 GPU 进行配置。当场景变得越来越大、本地模型需要更多内存、更多子智能体并行运行，或者仿真和可视化工作负载变得越来越苛刻时，可以使用它。
- NVIDIA RTX PRO 服务器：非常适合团队规模的工作流。将其用于共享智能体工作流、批量场景准备、大型 OpenUSD 资产、合成数据生成和生产式验证运行。
- NVIDIA DGX 云：适用于云规模开发。当工作流需要弹性计算来处理大型训练作业、批量仿真或超出本地硬件的扩展物理 AI 工作流时，可以使用它。
准备好开始了吗？选择一个场景准备瓶颈，将其提供给子智能体，将其连接到 Omniverse 工具，然后添加验证门。
如需了解详情，请查看以下资源：
- 浏览 Omniverse Labs GitHub 资料库中的更多 Omniverse 示例
- 探索 NVIDIA Omniverse 库，获取涵盖 USD、渲染、物理、存储和验证的智能体调用工具
- 试用SimReady Foundation，了解验证配置文件和仿真就绪型 USD 要求
- 基于Isaac Lab或Isaac Sim构建机器人学习
- 了解NemoClaw如何帮助构建专业智能体。
- 成为OpenUSD开发者，了解代理式 3D 工作流的基础。
欢迎于太平洋时间 9 月 30 日上午 11：00 加入我们，参加 OpenUSD Insider 直播：使用 GPT-6 Astra 和 NVIDIA Omniverse 库实时开发物理 AI 仿真。
