在 SIGGRAPH 2024 大会上，NVIDIA 宣布推出基于 NVIDIA Omniverse 的新型生成式 AI 和基于 NVIDIA Omniverse 的 NVIDIA 加速开发工具。这将扩大 Universal Scene Description (OpenUSD) 在机器人、工业设计和工程领域的采用率，以便开发者可以为 AI 的下一次演进快速构建高度准确的虚拟世界。
OpenUSD 是适用于 3D 和 simulation 工作流程的开源框架和数据交换。 这种通用性使开发者能够构建高度准确、AI-enabled 的虚拟世界以及使这些世界成为可能的工具。
借助基于 NVIDIA Omniverse 的 NVIDIA 加速开发工具和新型生成式 AI，更多行业的开发者可以创建用于可视化工业设计和工程项目的应用程序，或用于模拟环境的应用程序，从而构建下一波物理 AI 和机器人。新的开发者工具包括：
- 适用于 OpenUSD 语言、材料、空间智能和物理 AI 的 NVIDIA NIM 微服务和工作流程指南。
- OpenUSD Exchange SDK 和 USD 连接器，支持包括机器人和工业模拟格式在内的行业特定数据。
- NVIDIA Omniverse Kit SDK 和开发者工具，用于从头开始构建和部署基于 OpenUSD 的应用程序。
将生成式 AI 引入 OpenUSD 工作流程
如今，生成式 AI 对于基于文本和数字的应用来说相对容易。但要让生成式 AI 处理 3D 场景，AI 需要同时具备空间智能和物理智能。
适用于 OpenUSD 语言、材料、空间智能和物理 AI 的新 NVIDIA NIM USD 微服务将生成式 AI 引入 OpenUSD 工作流程。作为开发者，您可以使用这些微服务将经过微调的生成式 AI copilot 和代理整合到 3D 工作流程中，从而扩展 USD 的采用范围到制造、汽车和机器人等新兴行业。
预览版中提供的微服务包括：
- USD 代码 NIM 微服务: 可以回答 OpenUSD 知识查询并生成 USD-Python 代码的先进语言模型（LLM）。
- USD 搜索 NIM 微服务: AI 功搜索 OpenUSD 数据、3D 模型、图像和资产使用基于文本或图像的输入。
- USD 验证 NIM 微服务: 验证 OpenUSD 资产与 RTX 渲染和基于规则的验证的兼容性。
全球大型营销和传播公司 WPP 是 NIM 微服务的早期采用者之一。WPP 与 The Coca-Cola Company 合作，使用 USD Search 和 Code 加速全球创意活动的迭代。
其他早期采用者包括创新 NVIDIA Inception 成员 HOMEE AI 和 Livvy by Aireal。 HOMEE AI 是 USD Search 的早期采用者。他们计划使用 NIM 微服务来启用智能搜索为其 AI 驱动的空间规划 用户。另一个早期采用者， Aireal, 计划使用 USD NIM 微服务（包括 USD Search），以帮助他们开发 AI 驱动的工具，彻底改变室内设计行业。
用于 USD 开发的其他 NIM 微服务即将推出。其中包括 USD Layout NIM，这是一种生成式 AI 模型，用于从一系列文本提示中组合基于 OpenUSD 的场景，以及用于将逼真材质应用到 3D 对象的 USD SmartMaterial NIM。
fVDB 是一种深度学习框架，用于通过空间智能构建物理 AI。NIM 微服务也即将推出 for fVDB。fVDB (早期访问版) 在 OpenVDB 之上构建 NVIDIA 加速的 AI 操作符，以生成 AI 就绪型虚拟环境，从而捕获大规模空间规模和高分辨率的现实世界。如需了解详情，请参阅 Building Spatial Intelligence from Real-World 3D Data Using Deep-Learning Framework fVDB。
开始使用 NIM 参考工作流程, 包括 ChatUSD 工作流程，使用 USD Code 构建交互式聊天界面，或使用 USD Search 和 USD Code 加速合成 3D 数据生成流程。
使用 NVIDIA Omniverse 构建 USD 本地应用
您可以使用 Omniverse 从头开始构建 OpenUSD 原生应用程序 —— 利用 Omniverse Kit SDK 和开发者工具 快速入门。最新版本的 Omniverse Kit SDK 106, 带来了新的工具和增强的功能，提供了更大的灵活性和控制力来优化开发工作流程。现在，Omniverse Kit 已经全面推出，并获得了 Omniverse Enterprise 许可 的全面企业级支持。
此版本包含 Omniverse Kit 应用模板 资源库，该资源库提供各种应用模板，可用作起点，并根据任何项目的特定需求进行定制。这种基于模板的工具可显著缩短开发时间，因此您可以专注于集成技术、数据流水线和功能，借助 NVIDIA AI 的强大功能解决之前棘手的问题。
Omniverse Kit 应用流 API 也已推出早期访问版。此 API 启用您将基于 Kit 的应用部署到云端并以交互方式从云端流式传输。您可以在任何公有云上自行托管这些应用，并将其无缝集成到基于 Web 的解决方案中。
将行业特定数据连接到 OpenUSD
为进一步推进OpenUSD生态系统扩展，NVIDIA 宣布推出OpenUSD Exchange SDK，该 SDK 将于今年晚些时候在GitHub上推出。借助该 SDK，您可以构建自己的强大OpenUSD数据插件、转换器和交换器。开发者将能够更轻松地访问和贡献于日益增长的第三方解决方案列表，这些解决方案可用于将常见数据源与OpenUSD连接起来。
对于需要使用 USD 交换行业特定数据的开发者而言，OpenUSD Exchange 尤其有用。为了帮助他们快速实现这一目标，NVIDIA 继续构建和支持从关键格式到 OpenUSD 的连接器，例如 Unified Robotics Description Format (URDF)。将 URDF 连接到 OpenUSD 使机器人专家能够在从设计到仿真再到强化学习的整个应用中无缝引入机器人数据。
此外，NVIDIA 还发布了新的开发者工具和 APIs，可通过 NVIDIA Graphics Delivery Network (GDN) 将大规模 OpenUSD 场景流式传输到 Apple Vision Pro (in 早期访问版) 通过 NVIDIA Graphics Delivery Network (GDN)。
开始在 Omniverse 上进行开发
我们很高兴看到您如何使用这些新工具和功能来开发自己的 OpenUSD 工作流程和应用。
- 开发者可以访问 NVIDIA Omniverse，获取所有必要的元素以在 Omniverse 上开始开发。
- 访问OpenUSD 资源集合，包括 USD 示例和样本。
- 与Omniverse 开发者社区。
有关行业特定用例，请查看Generative AI Content Creation、Virtual Factories和Product Configurators的参考架构。请持续关注，了解即将推出的热门 Omniverse 用例的其他参考架构。
在 SIGGRAPH 2024 大会上，NVIDIA CEO Jensen Huang 与 Meta 创始人兼 CEO Mark Zuckerberg 和 WIRED Sr. Writer Lauren Goode 进行了炉边谈话。点播观看 NVIDIA 在 SIGGRAPH 2024 大会上的炉边谈话和其他会议从 NVIDIA 在 SIGGRAPH 2024 大会上点播。
订阅时事通讯，并在YouTube、Discord和Medium上关注 NVIDIA Omniverse，保持最新动态。
