NVIDIA Isaac Sim
NVIDIA Isaac Sim 由 Omniverse 提供动力支持,是一款可扩展的机器人模拟应用和合成数据生成工具,可提供逼真、物理属性准确的虚拟环境,以便开发、测试和管理基于 AI 的机器人。
本地运行
云端运行
在 GTC 2022 大会上,我们发布了 NVIDIA Isaac SIM 2022.1,其中包括 Gazebo/Ignition 连接器、Isaac Gym 集成、新的 Isaac 复制器功能和其他相关内容。
注册以便在其上市时获取通知。
借助 Isaac Sim,世界各地的开发者和研究人员能够针对各种任务训练和优化 AI 机器人。在本演示中,我们展示的三个机器人各不相同且令人惊艳,这些机器人在模拟环境中开发并在现实世界得到了验证
Isaac Sim 图表

逼真模拟
Isaac Sim 利用 Omniverse 平台的强大模拟技术,包括使用 PhysX 5 实现支持 GPU 的高级物理模拟、借助实时光线和路径追踪打造逼真效果,以及通过 MDL 材质定义支持实现基于物理属性的渲染。
模组化架构适合各种应用
没有一个模拟器可以解决每个机器人模拟挑战。但 Isaac Sim 旨在解决多数常见的机器人用例,包括操作、导航、生成用于训练数据的合成数据。此外,由于其模组化设计,此工具可以进行自定义并扩展到许多新用例中。
无缝连接和互操作
借助 NVIDIA Omniverse,Isaac Sim 可获益于 Omniverse Nucleus 和 Omniverse Connector,进而在 USD 中协作构建、共享和导入环境和机器人模型。通过 Isaac SDK 和 ROS/ROS2 接口、全功能 Python 脚本编写以及用于导入机器人和环境模型的插件,轻松将机器人大脑连接到虚拟世界。
生成用于训练感知模型的合成数据
训练感知模型需要大量多样的数据集。组装这些数据集可能耗时耗钱又危险,甚至在某些极端情况下无法进行。利用 Isaac Sim 的 Omniverse Replicator,开发者可以启动训练任务。在项目的早期阶段,合成数据可以加速概念验证或验证 ML 工作流。在开发周期的后期阶段,可以使用合成数据来增强真实数据,从而缩短训练产品模型的时间。Isaac Sim 内置了对域随机化的支持,允许更改纹理、颜色、照明和放置。它还支持不同类型的数据,包括边界框、深度和分割。开发者能够以 KITTI 格式输出数据集,从而更轻松地利用 NVIDIA 的 TAO 工具套件。
模拟操作
机器人的主要应用领域之一是机械手,可以识别、拾取和移动物体。在现代工厂或仓库环境中,机械手可以大幅度提高处理和分拣材料的效率和吞吐量。Issac Sim 内置了一些常见任务示例,例如填充和堆积货箱。这些基于 python 的示例可以进行修改,以便处理您的自定义任务。UR10、Frank Emika Panda (Leonardo) 和低成本 DofBot 是 Isaac 支持的机械手机器人,可以快速启动您的项目。
模拟导航
自主移动机器人必须能够在其环境中从 A 点移动到 B 点。此功能由导航栈提供支持。Isaac Sim 支持开发和测试机器人导航功能。Isaac Sim 提供了关于如何使用 ROS 导航栈的完整示例。在本示例中,NVIDIA Carter 机器人能在仓库环境中自动移动。同样,在 Carter 上运行的 Isaac SDK 导航栈也可在其中一个示例中自由练习。

将机器人/素材导入 Isaac Sim
将机器人模型和其他素材导入机器人模拟器至关重要,而且在设置训练场景或测试场景时,这有时也是一项重大挑战。Isaac Sim 利用 Omniverse 中内置的强大连接器功能,内置了对热门产品设计格式的支持。先进的 URDF 导入器已在多个机器人模型上进行测试。此外,CAD 文件可以直接从 Onshape 和 STEP 文件导入,并且所需的后期处理很少。
为了更轻松地将素材添加到不同的环境中,Isaac Sim 支持 Shapenet。Shapenet 导入器提供了大量的 3D 素材。
查看 Isaac Sim 的实际应用
教程
单击此处,访问完整的教程播放列表