计算机视觉/视频分析

工业设施数字孪生中的机器人仿真

工业企业正在采用 物理 AI 和自主系统来实现运营转型。这涉及在工厂和仓库中部署异构机器人车队,包括移动机器人、 人形助手 、智能摄像头和 AI 智能体。

为了充分利用这些支持物理 AI 的系统的全部潜力,公司依赖于其设施的 数字孪生 ,即用于模拟和优化自主系统交互方式以及执行复杂任务的虚拟环境。这种 simulation-first 方法使企业能够在实际部署之前验证其机器人车队是否能够在动态环境中进行协调和适应,从而加速向真正自主的工业运营过渡。

工业数字孪生中的机器人 fleet 仿真

借助 Mega NVIDIA Omniverse Blueprint ,企业能够加速物理 AI 在工厂、仓库和工业设施中的开发和部署。

该工作流使开发者能够利用 传感器仿真 和 合成数据生成 来模拟复杂的自主操作,并在实际部署之前验证 工业数字孪生 中物理 AI 系统的性能。

本文将介绍该蓝图的组件,以便您可以开始开发自己的机器人编队仿真和验证流程。

Architecture diagram showing the different parts of the Mega NVIDIA Omniverse Blueprint.
图 1. Mega NVIDIA Omniverse Blueprint 的架构

设施或车队管理系统

车队管理系统负责帮助企业管理、协调和优化机器人车队,以实现特定目标或任务,例如运输货物、分拣物品和管理库存。为增强决策能力,可以将这些系统集成到工作流程中。通过将这些系统连接到企业数据湖,车队经理可以访问和使用大量数据,以改善协调并优化车队任务。

Blueprint architecture diagram with the Fleet Management section highlighted.
图 2。车队管理系统可帮助企业管理、协调和优化机器人车队

在该蓝图中,集成的车队管理器软件使用行业标准 VDA5050 接口与各种机器人大脑进行交互。此接口是机器人编队和中央主控制器之间的开放通信标准,可确保车队经理能够与机器人进行有效通信并控制机器人。

机器人大脑和机器人策略

机器人大脑可以简单或复杂地处理现实世界中的机器人操作。机器人大脑或策略是决策系统,它根据接收到的输入来决定机器人应该做什么,并通过输入数据和输出操作来定义行为。传感器通过摄像头或 LiDAR 等各种形式收集数据,然后机器人根据其学习的策略处理这些数据。处理完毕后,策略会输出一个动作,并将动作发送给执行器。这些机器人大脑作为容器集成到蓝图中,提供与真实机器人相同的一组驱动和传感器接口。

A graphic showing the components of the Robot Policies section of the blueprint architecture, including Robot, Equipment, Visual AI Agent, and Digital Human.
图 3。蓝图架构组件 Robot Policies

驱动接口使机器人大脑能够向机器人主体发送驱动或控制信号。该蓝图提供了驱动接口的参考实现,可将驱动命令转换为 ROS2 主题,并使用正确的 Universal Scene Description (OpenUSD) 模式。这可确保控制信号准确传输到虚拟环境中的机器人主体。

驱动接口对于控制机器人的动作至关重要。开发者可以修改此接口,或将其替换为特定机器人大脑所需的任何其他翻译,确保控制信号根据每个机器人的独特要求量身定制。

传感器接口使机器人大脑能够从其传感器接收数据。该蓝图为开发者提供了传感器接口的参考实现,可将通过 gRPC 流接收的传感器数据从 Sensor RTX 转换为机器人大脑使用的 ROS2 主题。这可确保机器人大脑接收到准确且及时的传感器数据,使其能够做出明智的决策并有效地执行任务。

开发者还可以将使用 NVIDIA Metropolis 和 NVIDIA AI 视频搜索和摘要蓝图 构建的高级 视觉 AI 智能体 集成到工作流中,为工业运营带来更丰富的见解和更明智的决策。

世界模拟器 ( World Simulator) 

“World Simulator”由 NVIDIA Omniverse 开发,以 OpenUSD Stage 的形式呈现,作为仿真运行时运行,负责保持仿真状态并确保所有组件保持同步且准确。

A graphic showing components of the World Simulator section of the architecture, including Equipment, Building, Robot Data, Product, and Production Line.
图 4。蓝图 World Simulator 负责维持仿真状态

传感器 RTX

NVIDIA Omniverse Cloud Sensor RTX APIs 使开发者能够准确模拟机器人在现实世界中遇到的情况。使用这些 APIs,您可以渲染摄像头、雷达和 LiDAR 传感器的输出。与 World Simulator 生成的 OpenUSD 数据相结合,可为工业设施提供全面、物理精准的数字孪生。这些 APIs 基于 NVIDIA Cloud Functions 构建,NVIDIA Cloud Functions 是一个可以托管可扩展函数的云框架。

A graphic showing the Sensor RTX section of the blueprint architecture.
图 5。传感器 RTX 可准确模拟机器人在现实世界中遇到的情况

调度程序

最后但同样重要的是 Scheduler,它管理时间和整体执行。Scheduler 负责对延迟进行建模、管理多速率执行,并在执行复杂的 producer-consumer 图形时尊重数据依赖关系。这可确保仿真平稳准确地运行,为测试和验证提供可靠的环境。

The blueprint architecture diagram with the Scheduler highlighted in green at the top center.
图 6。Scheduler 管理时间和整体执行

开始使用

通过利用这一强大的参考工作流,您可以测试复杂场景、优化 fleet 测试成本、加速 commissioning,并提供更高效、更有效的实际运营。要查看 blueprint 的实际应用,请访问 build.nvidia.com 上的 交互式演示 。

开始使用 Developer Starter Kits 快速开发和增强您自己的应用和服务。

订阅 NVIDIA 新闻 ,并在 Discord 、 YouTube 和 Medium 上 关注 NVIDIA Omniverse ,随时了解最新动态。

 

标签