机器人

NVIDIA × 火山引擎:云端一站式具身智能研发协同方案

面向人形机器人、通用具身智能落地痛点,火山引擎 veOmniverse 深度打通 NVIDIA 机器人全栈技术体系,结合字节自研框架与 PICO 硬件能力,搭建起 “数据采集-扩增-训练-仿真评测”全链路云端研发流水线,大幅降低具身大模型开发门槛。

一、veOmniverse 集成 Isaac 套件,打通具身模型云端全流程闭环

火山引擎 veOmniverse 深度整合 NVIDIA 在具身智能方向的核心能力,围绕“数据采集—数据扩增—VLA+RL 后训练—仿真评测”构建起一条云端研发链路:前端通过 Isaac Teleop 完成遥操作数据采集,结合 NVIDIA Cosmos 提升数据丰富度与场景覆盖度;在训练侧,将 NVIDIA Isaac GR00T 融入 veRL pipeline,并结合 NVIDIA Isaac 仿真与评测体系,支持模型持续迭代与效果验证。整体来看,开发者无需自建复杂环境,即可在统一云平台上完成从数据生产到模型优化验证的整套流程,更高效地推进具身智能研发。

二、PICO 硬件适 Isaac Teleop,高效采集高精度遥操作示范数据

在具身智能数据生产中,遥操作采集往往是投入最重、组织最复杂的环节之一。火山引擎将字节 PICO 硬件能力与 Isaac Teleop 结合,把传统依赖真机、场地和专业人员的采集流程,升级为更轻量、更易复制的云端采集方案。Isaac Teleop 作为面向仿真与真实机器人的统一遥操作框架,已支持 PICO 等 XR 设备接入机器人数据采集与训练工作流。基于 PICO VR、Isaac Teleop 与 CloudXR 流式能力,采集员无需具备 IT 或机器人开发背景,佩戴头显即可从浏览器进入云端仿真环境完成操作;管理员则可统一配置任务、场景、机器人和采集计划,平台自动记录操作过程与仿真真值数据,并支持提交校验、回看预览、重置重采和结果流转。相比传统真机采集,这种产品化方案显著降低了前期硬件和场地门槛,同时可以在虚拟环境中快速切换不同机器人本体、任务与场景,提升采集柔性和规模化效率;结合平台后续的 agentic 扩展能力,也有助于更快适配新的任务、场景与机器人类型。

三、搭载 Cosmos 3 数据增广服务,打造高泛化合成数据能力

在NVIDIA veOmniverse 平台之上叠加 NVIDIA Cosmos 3 的生成式数据增广能力,可形成“物理仿真—真值标注—多模态生成—模型训练”的闭环数据生产线。Omniverse、Isaac Sim 与 Replicator 负责构建符合物理规律、可重复运行的数字孪生和机器人交互场景,并输出 RGB、深度、实例分割、相机参数、物体位姿、接触状态及运动学信息等高质量真值数据;Cosmos 3 则利用统一的文本、图像、视频、音频和动作建模能力,在保持场景结构与动作语义一致的前提下,对天气、光照、材质、背景、物体组合、相机视角以及机器人形态进行可控扩展,并补充危险工况、异常事件和稀有长尾场景。由此能够低成本、规模化地产生高保真、多样化的 Physical AI 训练与测试数据,缓解真实数据采集成本高、覆盖不足和分布长尾等问题,缩小仿真与现实之间的域差距,并提升感知模型、世界模型及机器人策略的泛化能力、鲁棒性和验证覆盖率。Cosmos 3 还支持动作条件下的前向动力学预测,可进一步用于推演候选动作的未来结果,为策略训练和评测提供反事实数据。

四、veRL 联合 Isaac 平台协同优化,赋能 GR00T 模型强化学习迭代

字节自研强化学习框架 veRL 与 NVIDIA Isaac 平台深度协同,结合已接入的仿真与评测能力,可面向 GR00T 等 VLA 模型构建云端闭环强化学习后训练体系。结合Isaac Lab/Arena的相关能力,高保真的物理仿真、传感器数据和可扩展的任务环境,支持不同场景、任务和机器人形态下的并行训练与效果验证。GR00T 模型在这些环境中执行大规模 rollout,由仿真器返回任务成功率、子目标完成度、碰撞与安全约束、轨迹效率及动作平滑度等可验证奖励,并可叠加视觉奖励模型或人工接管反馈。verl 负责统一调度策略推理、环境交互、奖励计算、经验回放、价值模型训练和参数更新,可接入 PPO、GRPO 等在线算法,或采用 verl-vla 已提供的 SAC-style、DSRL 与 RECAP 等后训练路径;同时将成功轨迹、失败案例和人工干预轨迹持续沉淀为新的回放及监督数据,形成“并行探索—奖励评估—策略更新—困难样本回流—仿真复测”的数据飞轮。该体系能够针对性提升 VLA 模型的视觉—语言对齐、空间理解、动作生成精度、长程任务成功率、异常恢复能力及跨场景泛化表现,并为后续 Sim-to-Real 迁移提供更稳定的策略基础。

双方软硬件、云平台、仿真与强化学习技术深度互补,构建了适配国内开发者的轻量化具身智能落地栈,持续推动通用人形机器人从算法研发走向规模化真机落地。

标签