NVIDIA Isaac ROS GEM

NVIDIA® Isaac ROS GEM 是一款基于硬件加速的软件包,可以让 ROS 开发者更轻松地基于 NVIDIA 硬件构建高性能解决方案。

入门




高吞吐量感知

Isaac ROS GEM 提供的软件包中包括图像、计算机视觉,以及针对 NVIDIA GPU 和 Jetson 高度优化的 DNN 处理功能。

灵活的模组化软件包

借助模组化软件包,ROS 开发者可以准确地选择需要集成到其应用中的内容。这意味着他们可以替换整个工作流,也可以仅更换一种算法。

缩短开发时间

Isaac ROS GEM 经过精心设计和测试,与现有的常见 ROS 节点相似,更易于集成到现有应用中。




适用于 ROS 开发者且丰富多样的感知 AI 软件包

ROS 2 节点可应对常用的图像、计算机和 DNN 处理功能,这些功能是为 AI ROS 机器人应用提供高性能感知的关键要素。

Isaac ROS



基于 Visual SLAM 的定位

当自主机器在相应环境中移动时,它们必须持续追踪自己的位置。视觉测距通过估算摄像头相对于其起始位置的距离来解决这一问题。支持立体视觉测距的 Isaac ROS GEM 为 ROS 开发者提供了这一强大功能。

此 GEM 使实时立体摄像头视觉测距解决方案具备高准确度。可在此处参考基于广泛使用的 KITTI 数据库的公开可用结果。此 GPU 加速软件包不仅具备高准确度,运行速度也非常快。事实上,SLAM 现在可在 Jetson Xavier AGX 上以高清分辨率 (1280x720) 实时(60fps 以上)运行。

Isaac ROS 立体视觉 SLAM
Isaac ROS 立体视觉测距

3D 场景重建 – nvblox(预览)

nvBlox

仅仅明确机器人的位置还不足以在复杂的环境中实现安全导航。机器人还必须能够自己发现障碍物。nvblox(预览)使用 RGB-D 数据来创建机器人所在环境的密集 3D 显示。其中包括不可预见的障碍物,如果不进行实时观察,可能会对机器人造成危险。而此数据有助于为导航堆栈生成时间成本图。

Isaac ROS nvblox



DNN 推理过程

DNN 推理 GEM 是一组 ROS2 软件包,允许开发人员使用 NGC 上可用的 NVIDIA 众多推理模型中的任何一种,甚至可以提供自己的 DNN。利用 NVIDIA TAO 工具套件,开发者可以进一步调整预训练模型或优化自己的模型。

优化后,这些软件包将通过 NVIDIA 的推理服务器 TensorRTTriton 进行部署。借助利用 TensorRT(NVIDIA 的高性能推理 SDK)的节点实现出色的推理性能。如果 TensorRT 不支持所需的 DNN 模型,则可以使用 Triton 来部署模型。


整合模型支持的其他 GEM 现已推出,并支持 U-NetDOPE 。基于 TensorRT 的 U-Net 软件包可用来从图像中生成语义分割遮罩。DOPE 软件包可用于对所有检测到的目标进行 3D 姿态估计。


该工具是在ROS 应用程序中加入高性能 AI 推理的最快方法。图(右)为预训练模型 PeopleSemSegNet,运行速度为 25fps @544p


Isaac ROS DNN 推理
Isaac ROS 姿态估计
Isaac ROS 图像分割
DNN 推理 GEM

摄像头/图像处理

Isaac ROS 图像处理

在典型的机器人图像处理流程中,须先处理通过摄像头传感器获得的原始数据,然后再将其传递给 DNN 或用于感知处理的经典计算机视觉模组。此图像处理过程包括镜头失真校正 (LDC)、图像调整和图像格式转换等。如果需要用到立体摄像头,则还需要估计差异。图像处理 GEM 旨在利用 Jetson 上的专用计算机视觉硬件,例如 GPU、VIC(视频和图像合成器)和 PVA(可编程的视觉加速器)。

针对使用 CSI 接口连接摄像头的机器人,NVIDIA 提供硬件加速的 Argus 软件包。

图为镜头失真的摄像头图像(左)和使用 LDC GEM 修正后的图像(右)

Isaac ROS 图像处理



Isaac ROS 摄像头合作伙伴

Isaac ROS 合作伙伴提供与 Isaac ROS GEM 无缝集成的驱动。单击此处可查看驱动和兼容硬件的完整列表。


d3_logo.png
d3_logo.png



更多 AI/机器人信息




借助 NVIDIA Isaac ROS GEM,加速机器人应用开发。

订阅