人类运动为机器人专家提供了一个很好的起点,可用于指导人形机器人如何移动。人类演示捕捉了从日常动作到复杂任务的自然运动背后的协调性和时间安排。但是,机器人不能简单地复制人类的相同关节运动。其比例、关节结构和运动范围各不相同,因此需要调整运动以适应机器人。
开源 NVIDIA SOMA Retargeter 可帮助您根据机器人的比例和运动范围调整人类运动。它基于 NVIDIA SOMA-X 中共享的人体动作表示而构建,提供各种工具来配置机器人、优化生成的动作,以及处理用于下游训练的运动数据。
本文将介绍重定向过程、用于优化机器人运动的工具,以及与策略学习的关联。
从人体运动到机器人关节轨迹
人类运动的来源多种多样,包括动作捕捉会话、视频、在线数据集或生成模型。这些源通常会输出具有不同骨架和文件格式的运动。在 SOMA 骨架上表示兼容的人体运动,可为重定向器提供一致的输入。
SOMA Retargeter 可读取 SOMA 基础骨架上的生物视觉层次结构 (BVH) 动画。如下图 1 所示,它可根据机器人的比例调整运动目标,调整关节姿态,并应用配置的校正。输出是一个逗号分隔值 (CSV) 文件,其中包含机器人的根位置、方向以及每帧的关节角度。这些轨迹描述了下游学习或控制系统的预期运动。

人类运动的来源
开发者可以利用录制的表演、重建视频中的动作或生成新的动作:
- 动作捕捉数据。 BONES-SEED 提供一系列人类动作捕捉数据。
- 视频重建。 GEM-X 使用 SOMA 身体模型从单个视频中重建全身 3D 人体运动。其 演示工作流 将视频重建与 G1 重新定位连接起来,展示了录制的动作如何成为机器人的运动参考。
- 动态生成。 Kimodo 和 ARDY 允许开发者根据文本和姿势限制生成人类动作。Kimodo 支持根据这些描述创建运动序列,而 ARDY 则会在运动展开时添加交互式转向。两者都提供了在 SOMA 骨架上生成运动的模型。
调整动作以适应不同的人形机器人
SOMA Retargeter v0.2 版本包括骨骼从 BONES-SEED 数据集中提供的样本动作,以及五个人形机器人的参考重定向结果和配置: Unitree G1、Unitree H2、Booster T1、AgiBot X2 Ultra 和 AgiBot A3T3 。这些示例展示了关节角度和足部位置如何根据人形机器人的特定比例和运动范围而改变。配对的人类动作和机器人结果为您探索工具和比较自己的输出提供了一个起点。
对于此示例,使用提供的 Unitree G1 配置重新定位样本动作的向前行走。安装 SOMA Retargeter 后,在仓库根目录中打开终端并启动查看器:
uv run python app/bvh_to_csv_converter.py --config assets/default_bvh_to_csv_converter_config.json --viewer gl
打开“BVH 到 CSV 转换器”时,默认选择 unitree_g1 。在“Scene Options” (场景选项) 中,展开“Motion” (动作) ,选择“Load on the BVH Motion” (加载 BVH 动作) 行,然后从此处打开捆绑文件。查看器中会显示 SOMA 人体动画。
在“Scene Options” (场景选项) →“Motion” (动作) 下,选择“Retarget” (重新定位) 。重新定位器会将源目标扩展到 G1,为每帧求解已配置的反运动学目标,并应用已配置的后处理。然后,查看器会显示带有人类源动作的机器人动画。通过定位,您可以将它们分开进行检查。

使用播放控件检查结果。可识别的向前行走和连续运动是有用的初始检查;机器人的姿势与人类的姿势不同,因为其比例和关节不同。在 CSV Motion 下,选择 Save (保存) ,并为输出指定新名称 (例如 my_first_retarget.csv) ,使其与提供的引用分开。保存的文件包含机器人在动画中的根姿态和关节值。
要将您的输出与本练习中提供的 G1 参考结果 进行比较,请使用 CSV 运动负载控制依次打开每个 CSV,并检查运动中的同一点。参考文件位于此处的 存储库中。结果应显示相同的一般动作,但确切值可能会因配置和依赖项版本而异。 重新定位指南将更详细地介绍此示例。
配置机器人并优化其运动
所提供的 G1 配置为您提供了重新定位的起点,而包含的参考结果则为您调整设置以优化动作提供了一个比较点。借助 Robot Configurator ,您可以优化现有机器人配置,或通过加载机器人描述并定义人类运动映射到机器人的方式,为新机器人创建配置。
您可以调整人体和机器人的参考姿势、调整比例,并将源骨架映射到机器人的身体部位。生成的配置可以保存并在运动片段中重复使用。

重定向求解器使用由 NVIDIA Warp 构建的 Newton 的逆向运动学 (IK) ,找到跟随经过缩放的人类目标的联合姿势。当机器人无法同时匹配所有目标时,IK 权重将决定优先考虑哪些身体部位。
实验性的 IK 权重优化器使用代表机器人预期任务的一小部分动作来调整这些权重。它通过重定向这些动作来测试重量调整,并检查机器人跟踪目标的密切程度和流畅程度。所选权重将保存在新的重定向配置中。
滑脚可能会在下游运动跟踪策略中引入冲突的目标:参考脚移动,而预期动作需要种植接触。足部校正通过在检测到的接触间隔内调整足部运动来解决此瑕。您可以优化接触计时和校正设置,以减少基准运动在进入训练管线之前的滑动。
在根据代表性动作优化配置后,无外设批量重定向可让您在目标机器人的更大集合中重复使用该配置,而无需为每个片段操作查看器。
使用重定向运动训练机器人策略
在训练期间,运动跟踪策略会学习如何同时使用所需的运动和机器人的当前状态,将重新定位的参考转化为控制动作。
SONIC 训练工作流包括用于 G1 的 SOMA CSV 转换器。它将重定向的轨迹转换为 SONIC 的运动库格式,用于训练。 ProtoMotions 为基于物理的运动追踪提供了另一个框架。在这两种情况下,输入表示和策略都需要与目标机器人相匹配。
模拟提供了下一阶段的评估,即可以评估经过训练的策略的平衡、地面接触、执行器限制和跟踪准确性。
在使用 MicroDuck 进行的另一项实验中,我们针对机器人调整了 Bones 中的人类动作,并使用该动作为物理模拟中的每个片段训练控制器。
下面图 4 中的三面板比较显示了人类的表现、MicroDuck 参考,以及在模拟中执行运动的经过训练的控制器。参考图中显示了预期运动,而模拟图中显示了经过训练的控制器紧跟运动的程度。

有关使用 MicroDuck 进行仿真设置和策略训练的更多信息,请参阅 NVIDIA 技术博客 Using AI Agents to Teach Robots Like Microdock to Walk in Simulation (使用 AI 智能体教会像 Microdock 这样的机器人在仿真中行走) ,以及 NVIDIA 的一篇名为 Train in Simulation,Deploy on a Real Robot:Microdock with Isaac Lab 3.0 的 Hugging Face 博文。
使用 MotionBricks 实时生成运动
您还可以使用 MotionBricks 的 SOMA 人类模型生成运动,并使用 SOMA Retargeter 使其适应您的机器人,从而扩展可用于下游训练的运动参考。
MotionBricks G1 模型的部分训练基于 BONES-SEED 动作,该动作通过 SOMA Retargeter 适应 G1。它直接为 G1 在改变目标姿势之间实时生成连续的全身运动。

MotionBricks 的论文和项目视频展示了在物理 Unitree G1 上的这种方法。G1 特定的 MotionBricks 模型提供运动目标,由 SONIC 控制其执行。
开始使用 SOMA Retargeter
SOMA Retargeter 资源库包括安装说明、参考配置以及交互式和批量重定向示例。机器人配置器指南介绍了如何添加人形机器人形态,而批量重新定位指南则介绍了如何处理该机器人的运动集合。
Louis Marcoux 在本博客中为这项工作做出了贡献。