NVIDIA CloudXR

NVIDIA CloudXR™ 6.0 是一款通过 GPU 加速的流式传输平台,可将高保真空间体验从强大的 GPU 端资源传输到开放生态中的 AR、VR 与空间计算设备。CloudXR 6.0 完全符合 OpenXR 规范,使开发者能够“开发一次”,即可部署到任意受支持的头显或操作系统。通过消除本地硬件限制,该 SDK 能将照片级真实感的数字孪生和复杂仿真流式传输到轻量级设备上——其中包括与 Apple visionOS 的原生集成,以及通过 CloudXR.js 实现的无缝 Web 访问。

文档论坛


空间工作流

表示神经网络的图标

OpenXR 开发

通过全局扩展支持 OpenXR 应用,实现跨各种 XR 设备的兼容性。

探索 SDK 组件
表示 CUDA 容器的图标

支持 Omniverse 的数字孪生

串流 NVIDIA Omniverse™ Enterprise 应用,让用户沉浸在复杂的工业空间中,并使用精确的数字孪生对其进行实时仿真。

适用于 Omniverse 的空间流
表示工作流程的图标

机器人开发和远程操作

借助 CloudXR,机器人开发者能够在现实世界和仿真环境中收集高质量的演示,以训练和测试机器人策略。

探索 Isaac TeleOp

CloudXR 的工作原理

NVIDIA CloudXR 6.0 可作为通用 OpenXR 桥接器,将繁重的计算任务与显示器分离,通过三个主要分布式组件实现逼真的空间体验:

  • CloudXR 运行时 (服务器):作为每个部署的支柱,此 OpenXR 兼容运行时可在 Windows 或 Linux 服务器上处理高性能渲染和 GPU 加速编码。它充当由 RTX 提供支持的应用与网络之间的桥梁。

  • CloudXR 框架 (客户端):对于 Apple 平台的原生生态系统支持,有两种构建应用以接收 CloudXR 流的途径。在 visionOS 上,您可以利用注视点流式传输框架来流式传输高质量的 OpenXR 应用。端点仅在必要时根据用户所查看的大致区域的信息来流式传输高质量内容,从而确保性能。在 iOS 或 iPadOS 上,您可以利用 StreamingSession.xcframework 将 OpenXR 体验串流到 iPhone 或 iPad。StreamingSession.xcframework 的 API 与 visionOS 上的 FoveatedStreaming.framework 相似,可让您轻松构建跨平台串流应用。

  • CloudXR.js (网络客户端):此 JavaScript 框架可实现基于浏览器的顺畅 XR。它允许 Meta Quest 3 和 Pico 4 Ultra 等设备通过 WebRTC 访问高端 Robotics、Omniverse 和 OpenXR 内容,而无需安装应用商店。

图:使用 CloudXR 将 OpenXR 流式传输到本地设备


开始使用 CloudXR

适用于 OpenXR 的 CloudXR 运行时服务器 SDK

部署这一关键的服务器端引擎,用于对基于 NVIDIA RTX™ 的应用进行渲染、编码和流式传输。CloudXR Runtime 6.0 作为标准化的 OpenXR 桥接层运行,使任何符合规范的应用——从 NVIDIA Isaac™ Lab 到自定义引擎——都能以超低延迟将照片级真实感的内容流式传输到轻量级无线客户端。
下载 CloudXR 6.0 运行时

客户端 SDK:Apple 平台

允许开发者将沉浸式空间流式传输整合到新的和现有的 iOS、iPadOS 和 visionOS 项目中,并提供完整的版本控制。Xcode 内置“开箱即用”的框架,适用于每位 Swift 开发者。这些框架可在 iPhone、iPad 和 Apple Vision Pro 上提供逼真的 1:1 比例体验,而且不会造成任何损失。

客户端 SDK:WebXR 平台

CloudXR.js 通过单个安全 Web 链接向 Meta Quest、Pico 设备和桌面浏览器提供高性能的沉浸式内容。CloudXR.js 是一个与框架无关的 JavaScript 库,可将机器人仿真、Omniverse 数字孪生和任何 OpenXR 内容直接流式传输到浏览器。


CloudXR 学习资源库

Documentation

CloudXR SDK 文档

此中心提供完整的 CloudXR 6.0 开发者旅程,包括 SDK 概述、快速入门指南以及运行时、原生 Apple 框架和 CloudXR.js 的详细技术要求。访问有关 XR Opaque Data Channel、Stream Manager 和原生 visionOS Message Channel API 的深度文档,以及虚幻引擎集成指南和参考示例,帮助您扩展空间智能工作流。

Code Sample

CloudXR 流管理器

CloudXR Stream Manager 是一种管理 NVIDIA CloudXR 运行时实例的 Windows 服务,由用于托管 RPC 服务的服务器组件和用于演示交互的示例客户端组成。

Tech Blog

适用于 Omniverse 数字孪生的空间流

详细了解如何使用此参考架构将基于 OpenUSD 的沉浸式 NVIDIA Omniverse™ 数字孪生串流到 Apple Vision Pro

Tech Blog

使用 Apple Vision Pro 进行人形机器人学习

从 Apple Vision Pro 中捕获远程操作数据,使用 NVIDIA Isaac GR00T 只需通过几次人类演示即可生成大型合成轨迹数据集。

立即开始使用 CloudXR

立即下载