NVIDIA CloudXR.js:基于浏览器的 XR 串流 SDK
NVIDIA CloudXR.js 是一个 JavaScript 客户端 SDK,允许开发者构建企业级 Web 应用,用于从远程的 CloudXR Runtime 服务器流式传输高性能 VR 和 AR 内容。 基于 NVIDIA CloudXR 技术并使用 WebRTC 流协议,该库在 Web 浏览器与远程渲染系统之间提供无缝集成,使用户可以直接在浏览器中体验沉浸式 3D 应用。
CloudXR.js 沉浸式 Web 串流的工作原理
该 SDK 为沉浸式 Web(基于 WebXR)流式传输提供了一套完整解决方案,具备自动会话管理、优化的网络协议以及跨平台兼容性。借助它,你可以构建丰富的 VR/AR 体验,将远程服务器的强大算力与 Web 应用便捷的访问性和易部署性结合起来。虽然我们提供了基于 WebGL 和 React Three Fiber 的示例实现,但 CloudXR.js 本身是一个通用方案,可以集成到任意支持 WebXR 的框架中,非常适合从简单 3D 可视化到复杂交互式应用等多种场景。
下方的工作流示意图展示了使用 CloudXR.js 的流式传输管线。在该流程中,XR 头显通过浏览器的沉浸式 Web 能力采集操作者的头部与手部运动。浏览器将这些数据发送到服务器上的 XR 应用,XR 应用完成渲染并将双目视图提交到流式传输管线。随后,XR 应用对渲染完成的视图进行编码,并通过低延迟、GPU 加速的管线将其回传到 XR 头显,以实现实时显示。
开始使用 CloudXR.js
要与基于 CloudXR.js 的客户端协同工作,需要一个 CloudXR Runtime 服务器端应用程序。下面是运行端到端示例体验的三个核心步骤中的第一步。
通过 git 从 GitHub 下载示例工程,并通过 Web UI 或 NGC CLI 从 NGC 获取相关制品(artifacts)。
第 1 步:运行 OpenXR 服务器应用程序
# checkout our LOVR sample application git glone https://github.com/NVIDIA/cloudxr-lovr-sample # build and run the server ./run.bat --webrtc
第 2 步:下载 SDK 和客户端示例
ngc registry resource download-version "nvidia/cloudxr-js:6.1.0" git clone https://github.com/NVIDIA/cloudxr-js-samples
第 3 步:构建并运行 Web 客户端
cd simple npm install <path/to/download/sdk/tarball> npm run build npm run dev-server
入门套件
CloudXR.js 学习库
立即开始使用 CloudXR.js。