准备用于机器人仿真的 CAD 资产不仅仅需要将几何图形转换为 OpenUSD：开发者在测试机器人行为之前必须配置并验证材质、碰撞几何图形、关节和其他物理属性。
NVIDIA Omniverse 库以SimReady Foundation规范和代理式NVIDIA 技能为指导，提供用于转换和验证仿真就绪 (SimReady) 资产的结构化工作流。Frontier AI 模型可以在每个阶段帮助开发者解释参考资料并调用 Omniverse 工具，从而减少人工准备工作。
本文将介绍如何使用 ABB Robotics YuMi 机器人 进行仿真，并将 GPT-6 Astra 作为可以协助该过程的前沿 AI 模型示例。该工作流包含五个步骤：STEP 文件转换、外观验证、物理配置、SimReady 验证，以及在 NVIDIA Isaac Sim 中使用机械手和机械手完成的最终拾取和放置任务。
什么是 SimReady？为什么它对仿真很重要？
SimReady 定义了为特定仿真用例准备 OpenUSD 资产的要求。开发者根据预期用途选择 SimReady 配置文件，并根据其要求验证素材。特定于配置文件的检查可验证素材的结构、材质和物理属性，然后标记供开发者修复和重新检查的问题。
机器人模型看起来正确，但如果缺少仿真属性，仍会在仿真中失败。例如，缺少碰撞几何图形会让物体穿过其抓手，而错误的关节会阻止协调运动。质量和摩擦等模拟属性直接影响抓取是否保持稳定。
以下技术和工具支持此工作流程：
- OpenUSD以通用资产表示形式表示几何图形、装配结构、材质和仿真属性。
- SimReady Foundation为准备仿真就绪型资产提供规范和验证指导。
- NVIDIA Omniverse 库提供的功能可供开发者和智能体用于转换、检查和准备 OpenUSD 内容。
- NVIDIA Isaac Sim提供了用于配置物理特性和测试机器人行为的环境。
- NVIDIA Omniverse AI 智能体技能 (例如 CAD 到 SimReady 技能) 可指导智能体完成资产转换、材质和物理分配以及验证。
SimReady 机器人工作流：ABB YuMi 机器人示例
此演示演示了使用 ABB Yumi 机器人的五步 SimReady 工作流程。此处以 GPT-6 Astra 为例，该前沿 AI 模型可以帮助编写 Python 代码，以便在每个阶段调用 NVIDIA Omniverse 库，但该工作流可应用于许多模型和机器人系统。
该示例同时使用在工作流程中配置的机械臂和机械手。我们在第 5 步中演示了立方体和 Sharpie 标记。可以在单独的工作流程中添加基于摄像头的感知。
开始之前：
- 安装 Isaac Sim
- 安装您的前沿 AI 模型
- 在此工作流示例中，我们使用了 GPT-6 Astra。
- 在 Isaac Sim 目录中启动 Codex CLI
- 请务必在 Isaac Sim 目录中启动 Codex，以便智能体能够找到工作流中所需的必要技能。
在此工作流示例中，我们使用了 Isaac Sim 6.1 和 Codex CLI，并在窗口模式下启动了 Isaac Sim。
在活动的 Codex CLI 中使用以下示例提示来启动 Isaac Sim：
Isaac Sim 中的远程 Python 服务器使您的代理能够通过 Python 与实时 Isaac Sim 应用“对话”。确认连接正常，然后再继续。
在每个步骤中，根据您在前沿 AI 智能体中的任务调整示例提示，然后查看模拟结果和验证反馈，以识别问题并优化素材。
1. 从 STEP 文件中导入机器人
作为此工作流的第一步，我们将从参考文件夹中的 STEP 文件中导入机器人。
对于此示例，请在 Isaac Sim 目录内的参考文件夹中提供以下输入：
| 样本输入 | 目的 |
| ABB Robotics YuMi 机器人 STEP 文件。 | 将源几何图形转换为 OpenUSD。 |
| 参考来自 ABB Robotics 的图像和视频。此示例工作流使用关联的 ABB Robotics 视频 和 图像。 | 指导素材的外观和材质分配。 |
| SimReady 基金会 规格库注意：Isaac Sim 6.1 还打包了 simready-foundation-tier-core | 提供机器人要求、相关技能和验证指导。 |
| CAD 到 SimReady 技能 | 为 CAD 转换、材质和物理分配以及 SimReady 验证提供指导。 |
注意：Isaac Sim 6.1 打包了 simready-foundation-tier-core。
让智能体使用提供的输入来指导转换为 OpenUSD 并导入 Isaac Sim。
示例提示：
使用的 NVIDIA 技能：omniverse-cad-to-simready、omniverse-cad-to-usd 和 Isaac-sim-remote
请先检查再继续：已导入机器人素材并可供检查。理解任务和提供的要求，并识别缺失的信息。
2. 匹配视觉外观
下一步是检查导入的机器人，以确认预期的材质和纹理是否存在并正确加载。将素材与提供的 ABB 图像和视频进行比较，以检查比例、方向和部件放置。
要求智能体使用这些参考添加或优化材质和纹理。
示例提示：
假设：智能体通过调整颜色、金属响应和粗糙度，在保留 CAD 几何图形和安装转换的同时，在视觉上与机器人的材质相匹配。材质设置为视觉估计值，没有经过测量的材质重建或 AI 生成的纹理。
使用的 NVIDIA 技能：isaac-sim-remote、usd-pipeline
请先检查再继续：机器人具有预期的规模、方向、部件和外观。任何缺失的材质、纹理或其他视觉差异都会被记录下来。
3. 配置物理属性
在此阶段，OpenUSD 素材包含机器人的视觉几何图形，但关节、刚体和碰撞几何图形尚未配置。要求智能体配置并验证机械臂和机械手的物理属性。智能体将使用参考文件夹中的数据表，确保关节范围和速度限制与仿真机器人相匹配。
如果制造商数据不完整，您可以要求智能体识别缺失的参数，并查看技术手册或可用的 URDF 机器人描述，了解确切的模型。如果质量属性仍然不可用，则根据 NVIDIA 的质量属性指导，使用记录的密度或质量分布假设从几何图形中估算这些属性。例如，当没有提供足够的上下文时，我们观察到智能体为机器人拉取了一个公共 URDF，并使用它来识别正确的关节轴和零配置。
示例提示：
Check joint definitions, axes and limits, mass and inertia, collision geometry, base mounting, and gripper motion.
图 3. 步骤 3 中包含碰撞几何图形和关节轴的 YuMi 物理配置
初始姿势可能会有所不同。
图 4. YuMi 在物理配置后的姿势
此工作流程中的仿真假设：
- 关节配置：智能体为机器人检索了一个公开的 URDF，并使用它来识别关节轴和零配置。
- 每链路重量：根据 STEP 几何体积估算，并按照制造商指定的标准化总计：机器人 38 千克，每个机械手 0.28 千克。
- 质量和惯性中心：根据假设密度均匀的实体部件计算得出；内部电机、齿轮箱和接线并非单独建模。
- 接触属性：假设静态摩擦为 0.8，动态摩擦为 0.6，零恢复。
- 碰撞几何图形和外观：对凸面碰撞形状、表面粗糙度和材质响应进行了近似处理。
- 校准：这些参数未根据物理 YuMi 测量值进行校准。
使用的 NVIDIA 技能：usd-articulation、Physics – Simulation、isaac-sim-validator、isaac-sim-remote
请先检查再继续：关节会在预期轴周围并在其限制范围内移动。底座安装和机械手运动按照配置进行。其中记录了估算的属性和任何验证失败。
4. 验证 SimReady 属性
下一步是根据预期仿真任务的 SimReady 要求验证机器人的 OpenUSD 资产。让智能体运行选定的 SimReady Foundation 检查，查看结果，并根据需要修改素材。
示例提示：
Find the SimReady asset validation for a robot, and apply the SimReady schema (https://github.com/nvidia/simready-foundation) to the usd file, use any related skills in that repo.
此工作流程中的验证结果：
- SimReady Foundation：根据 SimReady Foundation 的要求，检查了 YuMi 素材的单元、素材依赖项、几何图形、材质、刚体、关节、驱动和关节。
- Isaac Sim 资产检查：通过 Isaac Sim 内的验证引擎，验证规模、方向、部件放置、抓手安装、材料覆盖和已解决的纹理依赖项。
- 质量和惯性：所有 21 个刚体都具有正质量和物理可接受的惯性张量；运行时值与作者值相匹配。
- 关节：检查轴、帧、极限、驱动、手指模拟行为和固定底座安装。
- 运行时行为：沿测试轨迹测试手臂和抓手的运动、接触、释放和碰撞。
这些检查验证了仿真的实现。他们并没有与现实世界中的机器人动力学或碰撞安全性达成一致。
请先检查再继续：序列符合约定的接受标准，并且选定的 SimReady 检查通过。其中记录了调整更改、估计属性和任何未解决的故障。
5. 机器人仿真的最终任务
在 Isaac Sim 中运行最终验证，将视觉、物理和 SimReady 检查与拾放任务相结合。
示例 1：立方体拾放
要求智能体在测试场景中添加颜色目标和方框，并定义目标位置和颜色元数据，使用场景元数据选择匹配的颜色目标。
示例提示：
Run the complete grasp, lift, hold, transfer, and release sequence. Use scene metadata to select the matching color target for each cube. Also test placement into the box.
Check scale, orientation, part placement, materials, textures, joint axes and limits, collision geometry, and gripper behavior. Run the selected SimReady Foundation validation checks.
模拟假设：
- 我们假设无维接触摩擦系数为静态 0.8，动态 0.6。抓取测试通过了这些设置，但系数并未针对物理手指 – 物体接触进行测量或校准。
- 此示例使用 45 毫米、40 克的测试立方体和步骤 3 中描述的模拟假设。
演示的拾取和放置结果：
- 完成循环：在 122.2 秒的物理模拟过程中，机械臂和机械手总共完成了四个拾放循环。
- 任务顺序：每只手臂抓紧立方体，将其举起来，按住两秒钟，将其移动到匹配的颜色目标上。然后，每只手臂再次捡起立方体，将其放入箱子内。
- 接触行为：手指接触和摩擦会传递立方体，在模拟过程中没有连接关节、运动保持或直接的立方体姿态更新。
- 接受标准：所有周期均通过定义的抓取、持有、转让、释放和放置标准。
- 录像：MP4 和 GIF 是在此模拟中生成的。
图 6. YuMi 使用彩色方块和目标标记进行拾放模拟
示例 2：使用图像衍生对象选取并放置
另一个演示使用了根据参考图像创建的 Sharpie 标记，让智能体创建一个 3D 素材，机器人将从中选取。
- 模拟假设：Agent 估计标记的尺寸为 140 毫米，质量为 10 克，质量中心位于 Sharpie 的几何中心。碰撞几何图形与管帽、枪管和后塞的圆柱形几何图形近似。
- 演示结果：YuMi 的机械手从桌面提起标记，并将其放入蓝色托盘。
成功的模拟测试展示了在测试条件下的行为。结果可能会因所使用的前沿 AI 模型和提示而有所不同。
使用的 NVIDIA 技能：操作 ik、Physics – Simulation、isaac-sim-validator、isaac-sim-remote、isaac-sim-rendering
试用工作流程
SimReady Foundation 和 NVIDIA Omniverse 工具可帮助开发者将 CAD 文件和参考材质转换为资产，以便在仿真中进行配置、验证和测试。使用 OpenUSD、SimReady Foundation 和 NVIDIA Omniverse 工具和技能，为您的机器人仿真任务准备素材。
YuMi 演示提供了一个使用 GPT-6 Astra 作为前沿 AI 模型的 SimReady 机器人工作流示例。要使该方法适应另一个机器人或前沿 AI 模型，请确认对所需工具和技能的访问权限，提供相关参考资料，并重复资产和任务验证。结果可能会因模型、推理工作和使用的提示而有所不同。
试用 ABB Robotics 示例工作流程
- 从 SimReady Foundation 资源库和 CAD 到 SimReady 技能 开始，指导资产准备。
- The ABB Robotics YuMi 机器人 STEP 文件、参考视频和图像可与此演示一起学习。
了解详情
- 使用 Isaac Sim 和 Isaac Lab 探索机器人仿真。
- 学习通过免费的OpenUSD 学习路径组合 OpenUSD 场景。
- 通过免费的物理 AI 课程学习机器人和数字孪生技能。
与我们一起参加于 NVIDIA GTC 柏林 于 2026 年 10 月 20 日至 22 日，探索 物理 AI 和机器人 领域的最新发展，并与开发者、研究人员和行业领导者进行交流。
