NVIDIA CloudXR.js:基于浏览器的 XR 串流 SDK

NVIDIA CloudXR.js 是一个 JavaScript 客户端 SDK,允许开发者构建企业级 Web 应用,用于从远程的 CloudXR Runtime 服务器流式传输高性能 VR 和 AR 内容。 基于 NVIDIA CloudXR 技术并使用 WebRTC 流协议,该库在 Web 浏览器与远程渲染系统之间提供无缝集成,使用户可以直接在浏览器中体验沉浸式 3D 应用。

文档论坛


CloudXR.js 沉浸式 Web 串流的工作原理

该 SDK 为沉浸式 Web(基于 WebXR)流式传输提供了一套完整解决方案,具备自动会话管理、优化的网络协议以及跨平台兼容性。借助它,你可以构建丰富的 VR/AR 体验,将远程服务器的强大算力与 Web 应用便捷的访问性和易部署性结合起来。虽然我们提供了基于 WebGL 和 React Three Fiber 的示例实现,但 CloudXR.js 本身是一个通用方案,可以集成到任意支持 WebXR 的框架中,非常适合从简单 3D 可视化到复杂交互式应用等多种场景。

下方的工作流示意图展示了使用 CloudXR.js 的流式传输管线。在该流程中,XR 头显通过浏览器的沉浸式 Web 能力采集操作者的头部与手部运动。浏览器将这些数据发送到服务器上的 XR 应用,XR 应用完成渲染并将双目视图提交到流式传输管线。随后,XR 应用对渲染完成的视图进行编码,并通过低延迟、GPU 加速的管线将其回传到 XR 头显,以实现实时显示。

NVIDIA CloudXR.js 参考串流架构
图 CloudXR.js 参考流式架构

机器人开发和远程操作

CloudXR 支持远程沉浸式人形机器人训练,以及机器人应用中的低延迟操作控制。

采用 Omniverse 的数字孪生

沉浸式串流 Omniverse Enterprise 应用,借助精确的数字孪生实时模拟复杂的工业空间。

OpenXR 开发

通过全局扩展支持 OpenXR 应用,从而实现各种 XR 设备之间的兼容性。


开始使用 CloudXR.js

要与基于 CloudXR.js 的客户端协同工作,需要一个 CloudXR Runtime 服务器端应用程序。下面是运行端到端示例体验的三个核心步骤中的第一步。

通过 git 从 GitHub 下载示例工程,并通过 Web UINGC CLI 从 NGC 获取相关制品(artifacts)。

第 1 步:运行 OpenXR 服务器应用程序

# checkout our LOVR sample application
git glone https://github.com/NVIDIA/cloudxr-lovr-sample

# build and run the server
./run.bat --webrtc

第 2 步:下载 SDK 和客户端示例

ngc registry resource download-version "nvidia/cloudxr-js:6.1.0"

git clone https://github.com/NVIDIA/cloudxr-js-samples

第 3 步:构建并运行 Web 客户端

cd simple

npm install <path/to/download/sdk/tarball>

npm run build

npm run dev-server

入门套件

向 Quest/Pico 串流

本指南将为您介绍如何将 XR 内容从服务器串流到本地网络上的客户端。

理解示例

以下文档提供了有关基于 CloudXR.js 构建的示例 Web 客户端的详细信息。


CloudXR.js 学习库

Documentation

WebGL 客户端示例

NVIDIA 产品

借助此示例,使用标准 WebGL 图形 API 构建客户端。

Documentation

React Three 光纤客户端示例

NVIDIA 产品

在此示例项目中,使用最新的 Web 图形 API React Three Fiber 构建 Web 客户端。

Documentation

Isaac Lab 中的远程操作

NVIDIA Isaac

NVIDIA Isaac™ Lab 可让您使用机器人。本培训将介绍用于沉浸式交互和远程操作的工作流程。

Documentation

Omniverse 空间流

NVIDIA Omniverse

NVIDIA Omniverse™ 可模拟真实世界。此示例概述了如何开始为您的项目部署 Omniverse 仿真环境。

Documentation

LOVR OpenXR 应用串流

NVIDIA XR

LoVR 是一款开放 XR 服务器应用程序,可在您没有要测试的服务器应用程序时使用。本文概述了如何开始在您的开发工作流程中使用此功能。

立即开始使用 CloudXR.js。

文档