使用 NVIDIA Omniverse NuRec 进行神经重建与 3D Gaussian Splatting

NVIDIA Omniverse™ NuRec 是一套加速的 3D Gaussian splatting 库，可从真实传感器数据中进行数据摄取，在 OpenUSD 中实现交互式仿真的重建与渲染。NuRec 库已与 NVIDIA Isaac Sim™ 集成，用于机器人测试，并与 NVIDIA AlpaSim 和 CARLA 开源模拟器集成，用于自动驾驶开发。

下载

Omniverse NuRec 查看文档 NuRec 论坛

Omniverse NuRec 的工作原理：实时 3D 重建和渲染

Omniverse NuRec 会对给定环境中的相机或激光雷达数据进行重建，并将结果打包为一个 USD 场景，其中包含轨迹等元数据。open NCore 数据标准提供了一种一致的方法，用于表示重建工作流中的数据输入。通过使用开源的 gsplat Gaussian splatting 渲染库，NuRec 可以在 Isaac Sim 或 AlpaSim 等仿真框架中对场景进行交互式渲染。

渲染通常通过将模拟器或运行时通过 gRPC API 连接到 NuRec 服务来完成。开发者还可以使用生成式模型（如 Fixer）进一步优化重建效果，用于填补伪影或调整模糊，或使用 Asset Harvester 移除资产，以便在其他环境中复用。

说明 Omniverse NuRec 如何通过 Gaussian Splatting 库使用真实传感器数据进行 3D 重建和交互式模拟渲染的流程图。

使用 Fixer 增强神经重建

使用基于 NVIDIA Cosmos™ 构建的 Fixer 解决重建场景中的伪影并调整模糊效果。

访问 Fixer 模型

使用 Harvester 为 USD 场景构建素材库

借助 Asset Harvester，在重建过程中轻松移除物体，以便在其他场景中使用。

访问 Harvester

使用智能手机重建 3D 场景

了解如何使用 Omniverse NuRec 将智能手机截取的内容快速转换为 Isaac Sim 中的交互式仿真环境。

阅读博客：Reconstruct 3D

在 CARLA 中模拟真实的传感器数据

按照此分步教程，在 CARLA 中将现实世界的场景转换为智能汽车模拟。

观看教程 (00：45)

开始使用 Omniverse NuRec 加速 3D 重建

NGC 上的 Omniverse NuRec 用于重建管道

访问容器、库和模型，开始重建工作流。

下载 Omniverse NuRec

探索用于传感器数据重建的 NCore 数据标准

使用一致的数据表示重建传感器数据。

访问 NCore 数据标准

用于重建数据的物理 AI 开放数据集

使用 NVIDIA 物理 AI 开放数据集集合中公开提供的重构数据启动渲染工作流。

探索开放数据集

入门套件

神经重建和渲染入门套件

使用基于 Gaussian splatting 的 3D 渲染技术，将真实世界的传感器数据转化为交互式仿真，从而提高效率和准确性。

用于物理 AI 的逼真物理仿真

对作为物理 AI 基础的对象和系统的物理行为进行建模。

Isaac Sim 可以准确模拟刚体和车辆动力学、多关节关节连接、SDF 碰撞器等。

用于 AI 模型训练的可扩展合成数据生成

利用合成数据加速 AI 模型训练。

通过随机化照明、反射、颜色以及场景和素材位置等属性来生成训练数据。

符合伦理的 AI

NVIDIA 认为值得信赖的 AI 是一项共同的责任，我们制定了相关政策和实践，以支持各种 AI 应用的开发。根据我们的服务条款下载或使用时，开发者应与其支持的模型团队合作，确保此模型满足相关行业和用例的要求，并解决不可预见的产品滥用问题。

有关此模型道德因素的更多详细信息，请参阅模型卡可解释性、偏差、安全性和隐私子卡。请单击此处报告安全漏洞或 NVIDIA AI 问题。

下载 NVIDIA Omniverse for NuRec for 3D Reconstruction