制造机器的机器

我们如何教会机器人组装 GB300 测试托盘，以及它在机器人学习、机械智能和优秀的老式工程设计方面教给我们什么

NVIDIA Grace Blackwell 超级芯片是现代基础模型的 AI 训练和推理引擎。然而，组装 GB300 托盘的过程需要世界各地的工厂中熟的体力劳动。NVIDIA 西雅图机器人实验室 (SRL) 与 NVIDIA Isaac 工程团队合作，提出了一个核心问题：我们能否构建智能机器人来组装如此复杂的系统？

答案是肯定的，但前进的道路充满挑战。使机器人能够组装 GB300 托盘是 SRL 作为一家多产研究实验室在过去 9 年里解决的最棘手的问题之一。这个问题还对我们关于端到端学习在哪些方面最强大，以及模块化堆栈在哪些方面可能更有效的假设提出了挑战。

当前的问题：Moravec 回归

我们专注于组装 GB300 测试托盘，用于在交付和部署前验证 GB300 计算模块的功能和性能。根据 NVIDIA 运营团队和 GB300 合同制造商 Foxconn 的建议，我们专注于两项关键任务： (1) 母线组装和 (2) 多连接器插入。

在母线组件中，必须抓取长而笨重的母线 (即传输大电流的金属棒) ，将其传送到托盘，插入 16 个位置，然后入。此外，还必须插入和取出固定装置和夹子。在多连接器插入时，必须从托盘中取出两个大型和两个小型线缆安装的电气连接器，并将其插入紧密间隙的插座中。

实际实验设置如下所示。

技术熟的工厂工人能够可靠、流畅地执行这两项任务，且不会承受巨大的心理负担。然而，在另一个 Moravec 矛盾 的例子中，此类任务所需的 Dexterity 极难实现自动化。

第一个关键挑战是不确定性。零件的几何图形、外观和动力学尚未确切知道，而且初始零件姿态可能会有很大差异。此外，电气连接器连接到沿着整个长度变形的电缆上，具有明显的制造差异，甚至会因塑料变形和疲劳而发生机械变化。

在许多制造作业中，通过固定自动化减少不确定性，即对环境进行仔细控制。固定装置和适配器旨在将零件的精度限制在亚毫米级，机器人可以作为重复运动机器运行。在 GB300 测试托盘组件中，不确定性必须通过灵活的自动化来解决，因为快速的设计周期和小批量使得固定的自动化无法实现。机器人必须具备内在的适应性和鲁棒性，以应对不确定性。鉴于对 AI 基础设施的需求不断增长，这种范式是 NVIDIA 的战略重点。

第二个关键挑战是性能。在机器人研究中，50%-60% 的成功率通常就足够了，而 80% -90% 的成功率就足以称为已完成的任务。周期时间、运动流畅性和柔和的操控通常是次要的。此外，统计严谨性通常是不够的；每个任务通常执行 10 到 20 次试验，而合理的置信区间可能需要更多的评估。

我们与 NVIDIA 运营团队和 Foxconn 直接合作确定了性能要求，以确保解决的问题真正得到解决。截至本文发表之日，我们正在迅速接近他们的值。

技术策略：在正确的时间使用正确的工具

在机器人研究中，人们重视技术新颖性；这一传统促进了发明创造，但并没有激励人们优化基准以实现更高性能。因此，在不理解为什么先前的方法不起作用的情况下，可以轻松摆脱研究论文。

我们的 GB300 测试托盘组装策略是在正确的时间使用正确的工具。对于每个子问题，我们首先考虑 (通常实现) 经典基准。在这些不足之处，我们探索了模仿学习、基于仿真的强化学习 (RL) 以及仿真到现实的迁移、现实世界的 RL 和视觉-语言-动作 (VLA) 模型。这一进展使我们能够识别每种方法的优缺点，并证明创新和复杂性的合理性。

现在，我们详细讨论母线组装和多连接器插入；我们的目标是将这些任务用作其他研究和工程团队的案例研究，以解决他们自己的实际操作问题。

组装母线：重温经典

母线组装包括以下步骤：

1. 抓取极限固定装置 (即用于辅助安装的特定固定装置) 并将其插入托盘
2. 抓住母线 (附带固定夹) 并将其插入托盘
3. 驱动 16 颗螺丝，将母线固定到托盘上
4. 松开并拆下连接到母线的夹子
5. 移除极限固定装置

我们的初始条件与制造环境一致。极限固定装置和母线 (附带固定夹) 最初放置在机器人旁边平面上不受限制的位置，然后螺钉最初安装在母线上。

制造商要求我们实现 99.5% 的成功率，并且完成任务的时间不超过技术工人的两倍 (本例中不超过 124 秒) 。托盘不允许发生意外碰撞，因为即使是轻微的损坏也可能成为丢弃整个系统的理由。

我们的工作一开始是实施由单独的感知、规划和控制模块组成的经典流程（“优秀的老式工程”），并期望之后转向端到端学习。事实证明，传统流水线非常高效，不需要任何支点。我们解决方案的模块化结构还使系统易于调试和调整，并分布在机器人手臂上。

在感知方面，我们最初使用的是 NVIDIA FoundationPose，这是一种通用模型，可根据物体网格、RGB 图像和深度图像来估计物体的 6D 姿态。但是，当物体不够明显时，估计值可能会偏离 90 或 180 度。因此，我们扩展了工作流，以提取多个视图，为每个视图生成一个估计值，并选择置信度得分较高的估计值，从而减少了错误。(注意：我们后来改用了名为 DOPER 的专业模型，稍后会介绍。)

在规划方面，我们在空闲空间中使用快速航点规划器来缩短周期时间，并使用基于操作基元来对齐最初可能未对齐的部件，这些基元基于 Lissajous 曲线 和其他简单路径。

在控制方面，我们实施了高性能阻抗控制器，以确保在插入过程中施加足够的力时，进行柔和稳定的接触。现代学习流程通常采用最简单的控制器，而我们的解决方案则利用自动阻尼设计和惯性补偿。我们认为，高性能控制是机器人学习中一种功能强大但未得到充分利用的工具。

为缩短周期时间，我们在三个机械臂之间分配工作。一台 Flexiv Rizon 4S 放置了一个摄像头用于姿态估计；另一台 Flexiv Rizon 4S 插入了极限固定装置和汇流排，后来拆下汇流排固定装置和固定装置；一台 Universal Robots UR10e 使用 OnRobot 螺丝刀进行了 16 次螺丝刀操作。在与制造商达成一致后，对汇流排夹进行了轻微的修改，以便单臂可以松开。

我们的母线组装解决方案实现了 95% 以上的成功率，我们正在积极推动这一提升。剩下的故障主要是由于插入过程中的抓取错误和手边的滑移。极限固定装置和母线子任务符合其周期时间要求；然而，螺丝起子并没有达到，与 124 秒的目标相比，整个周期时间为 160 秒。设备特定的连续螺丝刀操作是主要瓶颈，为优化留下了直接的途径。

第 1 集：基础设施效率过高

在母线组装等具有挑战性的问题上，精心设计的现实世界机器人基础设施使我们能够快速开发、部署和检查系统。

第一个关键基础设施是机器人服务。正如机器人专家所知，尝试使用多个库通常会陷入依赖地狱的境地。我们将库转换为可独立部署的 Web 服务，可在边缘、本地或云端运行。这些服务被打包成具有 FastAPI/ HTTP 端点的 Docker 容器；研究人员可以使用轻量级 Python 客户端来组合来自不同语言和框架的服务。我们使用cuRobo服务进行运动规划，使用FoundationPose服务进行姿态估计，使用FoundationStereo服务进行深度估计等。

第二个关键基础架构是任务和智能体生命周期编排系统 (TALOS) 。TALOS 使用 ros2_control 作为主干，并提供运动规划器、操作基元和高性能控制器 (阻抗、导纳和力) 。该库可以无缝地对这些组件和已学习的策略进行排序，并以超过 500 Hz 的速度在实时循环中执行控制器。TALOS 支持 Franka FR3、Flexiv Rizon 4S、Universal Robots UR10e 和 SO-101。我们将该库用于所有现实世界的机器人应用，包括 运动美学教学、远程操作、双手协调和运动规划。

TALOS 还通过标准网络接口公开。因此，编码智能体可以访问机器人服务和实体机器人，使智能体能够在开发和部署期间构建感知、规划和控制能力。我们的想法与 Anthropic 的模型硬件标准 (MHS) 一致，MHS 是一种与模型无关的规范，用于使物理设备可被 AI 智能体发现并安全操作，而我们的开源DROID™ 项目就是这种方法的典范。

在机器人基础设施和母线组装进展的助力下，我们开始了第二个关键任务：多连接器插入。

多连接器插入：“反向痛苦的教训”

多连接器插入可以分解为以下步骤。对于每个电气连接器 (2 个大型和 2 个小型) ：

• 抓住所连接的线缆，将电气连接器从主板上拔下
• 抓住线缆末端的连接器
• 将连接器插入板上相应的插槽

我们的初始条件与制造环境再次保持一致。四根线缆都在一端连接到 GB300 板上，线缆没有严重纠结，可以在板上任意放置线缆接头。

制造商再次要求我们实现至少 99.5% 的成功率，并且完成多连接器插入任务的时间不超过技术工人所需时间的两倍 (在本例中，所有四根线缆的完成时间不超过 72 秒) 。与之前一样，托盘不会发生意外碰撞。

虽然对这项任务的描述简单明了，但由于以下三个因素，执行多连接器插入极具挑战性： (1) 线缆不规则、塑料可变形且容易磨损， (2) 连接器体积小且几乎没有纹理， (3) 连接器及其插座的间隙非常小，误差空间小。

首先，我们再次实现了传统流水线。为了抓取每根线缆，我们使用 SAM3 将线缆分割到开销 RGB 图像的预定义区域内。我们为每个掩模贴合中心线，命令机器人在指定高度抓住中间点，并命令机器人向上以暴露连接器。

这种简单的方法几乎没有观察到故障。

抓取公开的连接器更具挑战性。使用通用模型进行姿态估计效果不佳；连接器体积小、无纹理外观以及线缆的连接区域可变，导致出现很大的错误。因此，动作和抓取规划是不可靠的。因此，我们转向端到端学习感知、运动和抓取。

这条道路也是一条死路。使用动作块转换器 (ACT) 或扩散策略进行行为克隆的成功率很低；这些方法受益于我们难以获得的大规模高质量数据。样本之间的线缆形状和刚度差异很大，只有少数专用线缆可用。每根线缆只能被抓取和操控有限的次数，然后才能永久变形，这不再代表部署条件。

我们将这种情况视为一种“反向痛苦的教训”：在某些现实世界中，由于物理、金融和物流现象，规模可能难以解决。利用领域知识且所需交互数据较少的传统方法值得再次研究。

我们回到了姿态估计，但提出了一系列不同的要求：专注于关注的部分，避免依赖准确或独特的视觉纹理，并使用真实世界的数据快速改进。我们与 NVIDIA Research 的同事一起开发了一种名为 Deep Object Pose Estimation Revisated (DOPER) 的感知框架。DOPER 受 NVIDIA 深度物体姿态估计 (DOPE) 的启发，该论文是使用大规模合成数据实现现实世界感知的首批研究论文之一。

在仿真中，DOPER 模型首先通过以下方式进行训练：提取特定部件的 CAD 模型，从各种视图渲染 RGB 图像，然后通过部件凸壳上的最远点采样自动生成关键点标签，并根据点的可见性和显著性进行过滤。然后，训练一个快速、轻量级的卷积网络，以预测 RGB 图像中的边界框、分割蒙版和关键点标签。

在现实世界中，系统会捕获零件的 3D 神经重建。预训练的 DOPER 模型在具有随机背景的神经重建的不同视图上执行，生成伪标记；通过将高置信度预测投射到感兴趣的视图来纠正低置信度预测。

然后，在这些标签上对 DOPER 模型进行微调。最后，在推理时，在相关场景中执行 DOPER 模型，并从预测的关键点中提取姿态估计值。此过程可以 30 Hz 或更快的摄像头速率执行。

图 7. [左]DC-SCI 连接器的神经重建渲染动画，用于微调 DOPER 模型。[右]推理时的 DOPER 模型 

DOPER 让我们重新相信姿态估计的潜力。借助该框架，我们可以训练专为连接器设计的精确姿态估计器，并实时部署这些模型。根据由此产生的估计值，一个机械臂可以将每个连接器转换并旋转为一个姿势，以便第二个机械臂可以可靠地抓取它。

第 2 幕：通过机械设计减少不确定性

如前文所述，由于设计周期短、体积小，GB300 测试托盘组件需要灵活的自动化，其中机器人能够适应部件和姿势的不确定性并保持稳健。同时，灵活的系统仍然可以从固定自动化中的创新中受益，例如使用机械设计来减少不确定性。

遗憾的是，专注于固定自动化的机电一体化研究人员和专注于灵活自动化的计算机科学家长期以来一直在不同的领域中开展工作。相反，我们主张采用全栈方法，全面考虑硬件、软件和 AI 研究。

在抓取连接器期间，在抓手闭合时进行接触可能会干扰连接器，使其呈现意想不到的姿态或不稳定的姿态。虽然触觉感知、重新抓取和/ 或手动操作可能是有效的解决方案，但在我们的案例中，最直接和周期时间优化的解决方案就是更好的机械设计。

我们设计了两套多用途抓手，使我们的机器人能够抓取母线、极限装置、线缆和大大小小的连接器。

手指几何形状在接触过程中限制了部件运动，使抓握姿势更具可重复性。这些手指几乎可以在任何业余 3D 打印机上重现。

最后阶段：接触性运动

抓取每个连接器后，多连接器插入的最后一步是将连接器插入 GB300 板上对应的插槽中。与插入母线相比，插入连接器更具挑战性，原因是导电针很细，间隙很紧，并且接触时导向面很少。

在这种情况下，传统方法难以实现。插槽几何图形的变化、机器人控制中的累积错误或不当的插入力配置文件可能会导致连接器在插槽内入、错过插槽，甚至与周围组件碰撞。兼容的控制器很有帮助，但对较大的空间误差缺乏鲁棒性，并且需要针对每项任务进行仔细调整。

因此，我们转向了基于学习的解决方案。基于从仿真到现实的研究 (1，2，3，4，5) ，我们使用无模型的 RL 在NVIDIA Isaac Lab中训练策略，该策略可以从各种初始姿态插入电气连接器，我们在现实世界中部署了这些策略。

视频 9-12。在 Isaac Lab 中并行训练基于 RL 的连接器插入策略。(左) DC-SCI 和 MCIO 连接器的部分训练策略。(右) 经过充分训练的策略

在现实世界中，大型连接器的仿真到现实的传输实现了很高的成功率。但是，这种方法对于小型连接器效果较差。策略使用姿态估计，即使是微小的估计错误也可能导致连接器滑落到插槽边缘。即使是大型连接器，可靠性仍未达到行业标准。因此，我们得出了最终的技术结论：现实世界的数据无可替代。

更准确地说，大多数现实世界部署的目标都是实现最佳性能，例如更高的可靠性、更快的速度或更低的干预率。由于仿真与现实世界之间始终存在不匹配，因此在仿真中训练的策略可能很容易欠佳。因此，现实世界的部署可以从直接从现实世界的数据中学习中受益，最好尽可能从在线交互中受益。

在本例中，我们通过扩展先前的工作 SPARR 来改进插入策略。在 SPARR 中，基于状态的 基本策略首先在仿真中通过 RL 进行训练，然后在现实世界中通过 RL 训练基于图像的 残差策略。基础策略的推出可引导现实世界的学习，以鼓励高效学习和安全探索。由于连接器在插入时被视觉遮挡，因此我们使用力矩输入而非图像来训练残差策略。

我们的最终多连接器插入解决方案集成了我们的线缆抓取、连接器抓取和连接器插入方法，从头到尾组装所有四个连接器。该系统实现了 90-95% 的成功率；剩余的故障主要来自连接器抓取过程中的多臂协调问题。每根线缆的周期时间平均为 40 秒；主要的瓶颈是在抓取之前缓慢、离散地调整暴露连接器的姿态。虽然性能低于部署要求，但我们仍在持续努力，以缩小差距。

为何如此重要：迈向良性循环

自动化 GB300 系统及其后续系统的生产和测试对 NVIDIA 和 AI 生态系统至关重要，因为这些系统是基础模型的计算引擎。在更远的地方，用智能自动化补充熟练劳动力是国内制造业的关键：到 2033 年，可能有190 万个制造业职位空缺。从长远来看，组装 AI 硬件的机器人可以实现一个更宏大的愿景：在未来，由 AI 驱动的机器人在人类监督下组装 AI 硬件，然后在安全和良性循环中训练新一代 AI 机器人。

Blackwell 的言：故事情节

完成 GB300 测试托盘组装是我们开展的信息量最大的研究练习之一，强化了任务驱动型研究的价值。

在研究中，发明抽象技术方法是一种常见且有价值的实践，因为随着应用变得清晰，它可以在数年后带来回报。我们在 GB300 组装方面的经验表明需要一种互补方法：识别几乎不可能存在的具有重大现实世界价值的问题，揭示现有方法的功能和局限性，并在没有明确前进道路的地方进行创新。

我们的工作还为我们提供了七个关键技术课程：

1. 姿态估计非常有效。在项目开始时，我们既不相信这个结论，也不希望它是真的。但是，我们的 DOPER 框架为工业部件生成了快速准确的姿态估计模型。关键是根据修改后的要求重新审视姿态估计：训练专业模型，避免依赖准确或独特的视觉纹理，并实现对现实世界数据的快速微调。
2. 机械设计可以有效减少不确定性。这一结论对于自动化社区来说显而易见，但在机器人学习中可能不太明显。3D 打印抓手的机械设计使我们能够可靠地抓取夹子、线缆和固定装置，而无需通过触觉传感器、重新抓取机制或手动操作来增加复杂性。机器人开发是一个全栈问题，可以通过人工智能和机械智能来实现最佳结果。
3. 高性能控制不容忽视。几十年来，研究人员一直致力于开发高性能机器人控制器，但大多数机器人学习论文都实现了最简单的控制定律。具有自动阻尼设计和惯性补偿的高性能控制器可以确保自由空间运动的流畅性，促进柔和稳定的接触互动，并提高通过 RL 学习行为的成功率和周期时间。
4. 应进一步研究规模瓶颈机制。 “苦痛的教训 ( Bitter Lesson) ”得到了大量经验证据的支持；然而，在我们所说的“反向苦痛的教训”中，当交互数据稀缺、部件难以模拟、替换昂贵或重复使用会降低物体质量时，规模可能难以解决。传统方法仍然强大，而进一步强调结构和样本效率可能会使基于学习的研究受益。
5. 周期时间与成功率相当。典型的机器人学习系统可能结合 1 kHz 本体感知、100 Hz 策略、30 Hz 摄像头流和 5 Hz 抓手控制，并提供不同的实时保证。某些子任务可能很难或无法并行化。提高速度必须保持控制精度，确保人类和机器人的安全，并避免部件损坏。研究人员应以同等优先级查看周期时间和成功率。
6. 研究基础架构可加速开发和部署。在我们的工作中，机器人服务和 TALOS 对于避免依赖项冲突、实现不同规划器和控制器的可互换性以及跨机器人传输代码至关重要。虽然初创公司和公司可能会在基础设施方面进行大量投资，但研究实验室通常不会；社区努力开发研究型定制基础设施可能会加速该领域的进展。
7. 合成数据和现实世界数据都发挥着至关重要的作用。DOPER 使用针对特定部件的大规模合成数据来启动训练过程，我们的连接器插入方法利用基于仿真的 RL 来预训练策略。然而，现实世界的数据仍然至关重要。工业机器人的严格要求无法将性能放在桌面上，必须结合合成数据和现实世界的数据才能提供现实世界的价值。

缩小实验室与工厂之间的差距

在机器人领域，衡量研究成功与否的真正标准是转化为现实世界。我们的下一个目标是将我们的技术部署到 NVIDIA 合同制造商生产 AI 硬件的工厂中；我们的目标是满足或超过他们的性能要求，从而加速世界上最先进的计算能力的生产。

然而，现实世界的部署面临着显著的挑战。最重要的是：即使机器人解决方案在实验室试验中表现出色，在部署之前如何保证其性能？工厂将具有独特的环境和工作单元条件，而处理域不匹配是基于学习的机器人的一个近乎普遍的弱点。实际生产线还会受到产品设计更改的影响，这是实验室无法观察到的另一种自由度。

此外，即使系统足够强大或自适应，也必须验证其性能。要支持至少 99.5% 的成功概率和 95% 的单侧置信度上限，必须在至少598 次试验中观察到零失败。在我们的例子中，由于磨损，此类评估可能需要数百个重复的 GB300 组件。尽管最近在物理模拟和交互式世界模型方面取得了进展，但准确模拟几何和机械不规则组件也是一项开放性挑战。

我们建议从智能汽车 (离线训练) 行业中汲取灵感。在智能汽车中，离线训练和在线部署之间的界限模糊不清：最初，人类仔细监督和纠正车辆行为，但随着时间的推移，汽车变得越来越自主。同样，机器人学习系统的部署应具有强大但不完美的性能。人类或人工监督的智能体应无缝记录干预措施，系统应利用这些措施不断改进。随着时间的推移，我们将在现实世界的部署条件下收集足够的数据，为性能提供强大的统计保证。

现实世界部署的第二个关键挑战是，在部署机器人解决方案来解决特定任务后，如何才能减少解决下一个任务所需的工作量？这一目标可以用两个词来总结：泛化和适应性。

一种强大的泛化形式是，经过一系列任务训练的机器人可以解决新井问题。如果机器人知道如何将销插入孔中、组装一组齿轮并紧螺钉，那么它应该具备高级常识和低级Dexterity，可以插入 USB-C 线缆。适应性的一种强大形式是，当机器人不知道如何完成新任务，但却能高效地进行学习时。能够以 0.5 毫米间隙组装齿轮的机器人应快速学习以 0.1 毫米间隙组装齿轮。

根据研究共识，我们认为实现泛化和适应性的长期路径是通过从互联网规模的数据中学习的模型，包括视觉 – 语言 – 动作模型 (VLA) 、世界 – 动作模型 (WAM) 和机器人原生基础模型。这些模型在物理常识、快速适应和情境学习方面表现出了显著的迹象。

然而，机器人社区有一个公开的秘密：我们距离捕捉物理世界的近乎无限多样性并高效地从中学习仍有很长的路要走。作为一项思想实验，智能汽车公司每天可能会收集 100 TB 到 1 PB 的有用数据，但自动驾驶只是一项任务that a generalist robot should know how to perform。此外，在合理约束的环境中，模块化系统的泛化速度通常优于端到端模型 (例如 1、2) 。

我们在机器人基础模型中看到了实现泛化和适应性的三种互补路径。第一种是数据飞轮：在部署条件下构建不断改进的机器人系统，在部署期间收集数据，并将数据用于训练中或训练后的基础模型。关键的限制在于覆盖范围：每个部署都代表一个狭窄的交互分布，而基础模型可能难以插值。

第二种是世界模型。这些模型被定义为“基于动作的多模态预测模型”，几乎可以在任何物理数据源上进行训练。研究人员最终可能会将其用作所有物理交互的模拟器，从而实现机器人基础模型的多样化后训练。但是，未来世界模型必须随着时间的推移而发展；如前所述，物体动力学可能高度不稳定。

第三种途径是代理式机器人。正如最近的突破 (例如 1、2、3) 所示，智能体不仅表现出越来越多的人类常识 (包括空间推理) ，而且还可以在模拟器、世界模型和现实世界中提出有效的行动。智能体引导的动作可能会生成后训练数据，而智能体引导的干预最终可能会取代人类对新任务的校正。

最后，我们呼吁大家采取行动：加入我们的旅程。AI 硬件的机器人组装不仅是当今时代最具影响力的问题之一，也是基础和应用机器人研究的北极星。我们很高兴看到社区在这个方向上取得快速进展。

深入了解

我们正在准备一份白皮书，其中详细介绍了我们的方法和最新的实验结果。我们还致力于发布 DOPER 和 TALOS 供社区使用，并与 NVIDIA Isaac 工程团队合作构建连接器插入参考工作流。

随着每个版本的推出，我们将通过链接更新此博文。

请查看我们的 NVIDIA 机器人研发摘要 (R²D²) ，快速了解 NVIDIA Research 在物理 AI 和机器人应用方面的最新突破。

订阅 时事通讯，并在 YouTube、Discord 和 开发者论坛上关注 NVIDIA 机器人技术，随时了解最新动态。要开启您的机器人开发之旅，请免费注册 NVIDIA 机器人开发基础课程。