教机器人在障碍物路线中导航不仅仅是一种行走策略。机器人必须感知周围环境，保持平衡，并在障碍物阻挡前方道路时调整动作。开发这些功能涉及多个阶段：创建素材和环境，使用物理仿真模拟机器人与其环境的交互方式，以及在仿真中训练和评估策略。
NVIDIA RTX Spark 作为本地开发中心，支持 AI 辅助规划和策略验证。NVIDIA Isaac Lab 为云端强化学习提供了机器人学习框架，Newton 对物理行为进行了建模，而 NVIDIA Omniverse 库 通过 RTX 渲染生成了模拟的视觉观察结果。经过训练的策略会返回到 RTX Spark，以便在 NVIDIA Isaac Sim 中进行本地评估。
本文将介绍使用 Microdock 作为参考机器人的工作流程，并由 Hermes、NVIDIA Nemotron 和 Astra 协助进行规划和准备。您将学习如何创建模拟障碍物路线、训练导航策略并在模拟环境中评估其行为 — — 您可以根据自己的机器人和任务来适应这一过程。这为物理部署奠定了基础，仿真与现实世界行为之间的差异需要进一步细化。
1. 创建障碍物路线计划
该工作流首先提供一个描述障碍物路线和 Microduck 必须学习的内容的提示。在 RTX Spark 上，Hermes 和 NVIDIA Nemotron 3.5 Bolt 将该提示转换为分步项目计划。指令建立了预期任务、可用资源、预期输出以及智能体应遵循的阶段。使用以下示例构建提示词：
Build and test a simulated Microduck obstacle course with navigation and locomotion challenges. Make a photorealistic concept image and have Astra build and test it.
...
Workflow
Use Hermes and Nemotron 3.5 Bolt for preparation and Astra for asset creation and simulation.
...
1. Research and plan
Review official Microduck documentation and summarize capabilities, constraints, and unknowns. Define the course layout, obstacle dimensions, clearances, and intended route.
...
2. Generate the concept
Use a verified Microduck reference image to generate a photorealistic course concept. Check robot appearance, relative scale, and movement space; save prompts and provenance.
...
3. Identify assets
Extract unique reusable assets, group repeated instances, and select representative crops. Record dimensions, locations, and reference limitations; preserve original images.
...
4. Prepare the handoff
Package the plan, robot brief, concept, asset inventory, crops, and execution instructions. Verify required files, delegate to Astra, and wait for confirmed results.
...
5. Create and verify assets
Have Astra enhance references, model geometry in FreeCAD, and apply materials in Blender. Before simulation, verify every asset is completed or demonstrably blocked, with at least one usable model.
...
6. Assemble and test
Verify robot capabilities, assemble the course, and test navigation, challenges, and resets. Provide reproducible instructions and evidence; do not operate physical hardware.
...
本地规划包括简要回顾Microduck 的资源库和文档。此审查确定了机器人的功能、用于后续工作的资源以及仍需要验证的详细信息。由此产生的计划不仅限于资产创建，还概述了环境构建、机器人准备、仿真、训练、验证和部署。
本课程需要测试运动和感知。Microdock 必须学会在保持平衡的同时绕过障碍物和穿过受限空间。使用这些要求来指导建议的布局和构建该布局所需的对象。
本地图像生成模型会生成路线的概念图像。然后，Hermes 和 Nemotron 分析图像，并创建可见、可重复使用的资产清单。每个素材都会收到一个标识符、其可见特征的描述以及一张经过裁剪的参考图像。清单会记录物体被截断或遮挡的位置，以便后期能够区分可见细节和假设。
Hermes 将这些输出整合到一个交接包中：整体项目计划、Microdock 研究和源链接、概念图、资产清单、裁剪的参考以及下一阶段的说明。然后，系统会自动将工作委托给 Astra。该软件包为 Astra 提供了更广泛的项目背景和继续所需的资产规格。
2. 创建仿真素材
Astra 使用项目计划和上一阶段的参考，创建课程所需的 3D 素材。从更大的概念图中裁剪物体可能会生成较小的低分辨率参考。在建模之前，Astra 使用云图像编辑来隔离物体，并生成更清晰、更高分辨率的图像。
Astra 将增强版参考与原始作物进行比较，确保轮廓、比例、颜色和独特特征保持一致。增强后的图像提供了更清晰的建模指导，而原始图像则记录了概念图像中可见的内容。无法从图像中建立的维度和隐藏表面将记录为建模假设。
Astra 指示 FreeCAD 构建基础几何图形和可编辑的 CAD 结构，然后使用 Blender 添加精细的几何细节和材质。这两个应用程序都通过编程执行在本地运行。生成的资产将另存为可编辑模型并导出 USD 资产，同时提供预览和输出检查以供审核。
您还可以从 SimReady Central Library 中获取素材，这是一个免费的无门控库，包含 2000 多个仿真就绪型 OpenUSD 素材。将它们与新生成的物体一起重复使用，可以减少在 Isaac Sim 中组装障碍物所需的素材准备工作。由此产生的素材成为 Microduck 在仿真环境中训练环境的基础模组。
3. 组装仿真环境
Astra 使用 Isaac Sim 中准备好的素材来构建障碍物路线。Isaac Sim 提供 Omniverse 库的渲染和传感器仿真功能，而 Newton 则对 Microdock 的物理行为 (包括运动和平衡) 进行建模。
机器人的关节结构和运动是通过环节、关节和执行器在仿真中定义的。这些元素建立了策略操作与仿真机器人之间的关系。链路表示连接的物体，关节限制其相对运动，执行器驱动运动。他们共同为与环境交互的机器人建模。AI 智能体可以帮助配置这些元素。
模拟的传感器观测结果可提供有关前方障碍物的信息。当机器人尝试行走时，仿真会捕捉其动作的后果：无论是保持姿势、在路线中取得进展，还是跌倒和跌倒。
其结果是一个完整的学习环境：可以行动的机器人、可以与之交互的障碍物路线，以及可以从这些交互中生成反馈的模拟环境。强化学习 (RL) 使用此反馈来训练机器人策略。
4. 训练感知和移动策略
在 Microdock 及其环境就绪后，NVIDIA Isaac Lab 提供了用于大规模训练和评估机器人策略的工具。此开源框架可同时运行多个 Microdock 模拟，生成的经验可供 RL 算法用于改进其共享策略。
对于每项任务，您都要定义机器人观察到的内容、它可以采取的行动以及用于指导学习的奖励。然后，使用 Newton 是一个 GPU 加速的开源物理引擎，它模拟了 Microdock 如何根据这些动作移动以及与地面及其环境的交互。
早期尝试可能包括不稳定的脚步、碰撞和跌倒。训练算法使用这些结果和任务的奖励来更新策略，以实现更成功的行为。每次尝试都遵循相同的模拟循环：
模拟观察+ 策略行动+ 模拟运动+ 更新观察
并行模拟提供了一次训练策略的多次尝试的经验。在此任务中，坡道和凹凸不平的表面是障碍：Microdock 必须在保持平衡并避免跌倒的同时穿过弯曲的坡道。根据不同的地形，策略体验可以根据不同的地面条件调整其运动。
坡道和障碍物训练实验使用前面几节中由 Astra 生成的素材和 Isaac Lab Microduck 示例环境 作为起点。在该环境中预训练的运动策略会在 Isaac Lab 中接受额外训练，以便使用头部摄像头深度和机器人状态观察来穿越坡道和障碍物。此适配运行在 NVIDIA RTX PRO Blackwell 工作站版 GPU 上使用了 4096 个并行环境。
5. 在 RTX Spark 上验证经过训练的策略
完成训练后，在本地 RTX Spark 上验证 Isaac Sim 中经过训练的策略。Microdock 会接收模拟观察结果、预测动作、在环境中移动，并根据策略对更新的场景做出响应。检查 Microdock 是否检测到障碍物、调整其移动方式并完成路线。
此阶段将策略学习与策略评估分开。在训练期间，策略会随着获得新体验而改变。在评估期间，您需要检查所选策略的行为，并确定其成功与否或需要开展进一步工作。
记录课程结束、跌倒、碰撞以及进度停止的情况。这些测量结果与发布视频相结合，可以指导对环境或训练设置的迭代。
6. 准备在物理机器人上部署策略
一旦策略在仿真中可靠地执行，下一步就是在机器人的板载计算机上运行它。本文将介绍在此之前的工作：创建素材、组装环境以及训练和评估策略。详细的硬件部署不在此范围内。
从仿真到现实过渡的准备工作始于反映真实机器人行为方式的仿真。Isaac Lab 支持 更好的执行器模型 (BAM) 来模拟服务器响应，包括命令延迟、机械间隙 (动力系统中的少量间隙) 以及电机使用共享电池供电时的电压下降。将这些设置与 Microdock 的测量结果相匹配有助于缩小仿真与现实之间的差距。
即使使用经过仔细校准的模型，真实机器人上的传感器、地面接触和控制定时也可能有所不同。Isaac Lab 的域随机化会在实际范围内改变物理参数和观察噪声，从而为策略实践提供处理这些差异的途径。然后，硬件测试会显示需要进一步调整的位置，为下一轮模拟、训练和验证提供指导。
图 10 显示了在 Isaac Lab 中训练的运动策略，该策略在物理 Microdock 上运行。
开始使用
此工作流将 AI 辅助规划、仿真、资产创建以及机器人策略训练和评估连接在一起。它结合了本地资产和环境生成、云规模策略学习以及 RTX Spark 上的本地策略验证。AI 智能体将提示转化为计划，Isaac Lab 支持策略训练，Isaac Sim 支持部署前评估。
详细了解此工作流中使用的平台，并试用其文档中的示例：
- 从 SimReady 中央库 访问无门控资产
- 用于将仿真功能集成到应用中的 Omniverse 库
- RTX Spark
- 在 RTX Spark 上安装 Isaac Sim – 下载 Windows x86 二进制文件 (可通过 Arm 上的 Windows x86 仿真 直接运行)
- 用于机器人和环境仿真的 Isaac Sim
- 用于物理模拟的 Newton
- Isaac Lab 用于强化学习和模仿学习策略训练
- Isaac Lab 学习路径
- Microdock 示例 Isaac Lab 环境
- 关于 Hugging Face 的 Microduck 仿真到现实教程
- 使用原生 BAM 机的 Microduck 行走演示
致谢
此工作流是 NVIDIA 各团队通过协作开发的，包括：
Aaron Young、Antoine Richard、Chase Telegin、Gavriel State、Hammad Mazhar、Kelly Guo、Milad Rakhsha、Oyindamola Omotuyi、Pierre Fleau、Rishabh Chadha、Rogelio Olguin、Ruben D ‘ Sa 和 Yenal Kal。
