1. [主页 ](/) [Omniverse](/omniverse) NuRec # 使用 NVIDIA Omniverse NuRec 进行神经重建与 3D Gaussian Splatting NVIDIA Omniverse™ NuRec 是一套加速的 3D Gaussian splatting 库，可从真实传感器数据中进行数据摄取，在 OpenUSD 中实现交互式仿真的重建与渲染。NuRec 库已与 [NVIDIA Isaac Sim](https://developer.nvidia.cn/isaac/sim)™ 集成，用于机器人测试，并与 [NVIDIA AlpaSim](https://github.com/NVlabs/alpasim) 和 [CARLA](https://carla.org/) 开源模拟器集成，用于自动驾驶开发。 [下载 Omniverse NuRec](https://catalog.ngc.nvidia.com/orgs/nvidia/teams/nre/containers/nre-ga?version=latest "下载")[查看文档](https://docs.nvidia.com/nurec/index.html "文档")[NuRec 论坛](https://forums.developer.nvidia.com/c/omniverse/platform/nurec/752 "论坛") * * * ## Omniverse NuRec 的工作原理：实时 3D 重建和渲染 Omniverse NuRec 会对给定环境中的相机或激光雷达数据进行重建，并将结果打包为一个 USD 场景，其中包含轨迹等元数据。[open NCore 数据标准](https://github.com/nvidia/ncore)提供了一种一致的方法，用于表示重建工作流中的数据输入。通过使用开源的 [gsplat](https://github.com/nerfstudio-project/gsplat) Gaussian splatting 渲染库，NuRec 可以在 Isaac Sim 或 AlpaSim 等仿真框架中对场景进行交互式渲染。 渲染通常通过将模拟器或运行时通过 gRPC API 连接到 NuRec 服务来完成。开发者还可以使用生成式模型（如 [Fixer](https://huggingface.co/nvidia/Fixer)）进一步优化重建效果，用于填补伪影或调整模糊，或使用 [Asset Harvester](https://huggingface.co/nvidia/asset-harvester) 移除资产，以便在其他环境中复用。 ![说明 Omniverse NuRec 如何通过 Gaussian Splatting 库使用真实传感器数据进行 3D 重建和交互式模拟渲染的流程图。](https://developer.download.nvidia.com/images/nurec/public-sector-news-lilly-ari-1920x1280.png) ### 使用 Fixer 增强神经重建 使用基于 NVIDIA Cosmos™ 构建的 Fixer 解决重建场景中的伪影并调整模糊效果。 [访问 Fixer 模型](https://huggingface.co/nvidia/Fixer) ### 使用 Harvester 为 USD 场景构建素材库 借助 Asset Harvester，在重建过程中轻松移除物体，以便在其他场景中使用。 [访问 Harvester](https://huggingface.co/nvidia/asset-harvester) ### 使用智能手机重建 3D 场景 了解如何使用 Omniverse NuRec 将智能手机截取的内容快速转换为 Isaac Sim 中的交互式仿真环境。 [阅读博客：Reconstruct 3D](https://developer.nvidia.cn/blog/reconstruct-a-scene-in-nvidia-isaac-sim-using-only-a-smartphone/) ### 在 CARLA 中模拟真实的传感器数据 按照此分步教程，在 CARLA 中将现实世界的场景转换为智能汽车模拟。 [观看教程 (00：45)](https://images.nvidia.cn/cn/youtube-replicates/TRcFBSA-Lnk.mp4) * * * ## 开始使用 Omniverse NuRec 加速 3D 重建 ![装饰性图标](https://developer.download.nvidia.com/icons/m48-workflow-complex.svg) ### NGC 上的 Omniverse NuRec 用于重建管道 访问容器、库和模型，开始重建工作流。 [下载 Omniverse NuRec](https://catalog.ngc.nvidia.com/orgs/nvidia/teams/nre/containers/nre-ga?version=latest) ![装饰性图标](https://developer.download.nvidia.com/icons/m48-demo-topics.svg) ### 探索用于传感器数据重建的 NCore 数据标准 使用一致的数据表示重建传感器数据。 [访问 NCore 数据标准](https://docs.nvidia.com/nurec/basics/get-data.html) ![装饰性图标](https://developer.download.nvidia.com/icons/m48-neural-network-3.svg) ### 用于重建数据的物理 AI 开放数据集 使用 NVIDIA 物理 AI 开放数据集集合中公开提供的重构数据启动渲染工作流。 [探索开放数据集](https://huggingface.co/collections/nvidia/physical-ai) * * * ## 入门套件 ### 神经重建和渲染入门套件 使用基于 Gaussian splatting 的 3D 渲染技术，将真实世界的传感器数据转化为交互式仿真，从而提高效率和准确性。 - [神经渲染入门](https://docs.nvidia.com/nurec/index.html) - [如何在交互式模拟中即时渲染真实场景](https://developer.nvidia.cn/blog/how-to-instantly-render-real-world-scenes-in-interactive-simulation/) - [3DGUT：在 Gaussian Splatting 中启用扭曲的摄像头和二次光线](https://research.nvidia.com/labs/toronto-ai/3DGUT/) - [仅使用智能手机在 NVIDIA Isaac Sim 中重建场景](https://developer.nvidia.cn/blog/reconstruct-a-scene-in-nvidia-isaac-sim-using-only-a-smartphone/) - [借助 NVIDIA Isaac Sim 和 World Labs Marble 更快地模拟机器人环境](https://developer.nvidia.cn/blog/simulate-robotic-environments-faster-with-nvidia-isaac-sim-and-world-labs-marble) ### 用于物理 AI 的逼真物理仿真 对作为物理 AI 基础的对象和系统的物理行为进行建模。 Isaac Sim 可以准确模拟刚体和车辆动力学、多关节关节连接、SDF 碰撞器等。 - [物理模拟基础知识](https://docs.omniverse.nvidia.com/isaacsim/latest/features/sensors_simulation/index.html) - [传感器仿真入门指南](https://docs.omniverse.nvidia.com/isaacsim/latest/features/sensors_simulation/index.html) - [NVIDIA® PhysX®](/physx-sdk) - [Newton](/newton-physics) ### 用于 AI 模型训练的可扩展合成数据生成 利用合成数据加速 AI 模型训练。 通过随机化照明、反射、颜色以及场景和素材位置等属性来生成训练数据。 - [合成数据生成用例](https://docs.nvidia.com/tao/tao-toolkit/text/qat_and_amp_for_training.html#knowledge-distillation) - [Omniverse Replicator 入门指南](https://docs.nvidia.com/tao/tao-toolkit/text/qat_and_amp_for_training.html#knowledge-distillation) * * * ## 更多资源 ![代表社区的装饰性图像](https://developer.download.nvidia.com/icons/m48-people-group.svg) ### 加入社区 ![表示开发者时事通讯的装饰性图像](https://developer.download.nvidia.com/icons/m48-email-settings.svg) ### 注册以接收开发者时事新闻 ![表示开发者计划的装饰性图像](https://developer.download.nvidia.com/icons/m48-developer-1.svg) ### 加入 NVIDIA 开发者计划 * * * ## 符合伦理的 AI NVIDIA 认为值得信赖的 AI 是一项共同的责任，我们制定了相关政策和实践，以支持各种 AI 应用的开发。根据我们的服务条款下载或使用时，开发者应与其支持的模型团队合作，确保此模型满足相关行业和用例的要求，并解决不可预见的产品滥用问题。 有关此模型道德因素的更多详细信息，请参阅模型卡 可解释性、偏差、安全性和隐私子卡。请[单击此处](https://www.nvidia.cn/support/submit-security-vulnerability/)报告安全漏洞或 NVIDIA AI 问题。 下载 NVIDIA Omniverse for NuRec for 3D Reconstruction [下载 Omniverse NuRec](https://catalog.ngc.nvidia.com/orgs/nvidia/teams/nre/containers/nre-ga?version=latest)