NVIDIA CloudXR™ SDK

CloudXR 是 NVIDIA 推出的一款解决方案,用于从远程服务器(云端、数据中心或边缘)上的任何 OpenVR XR 应用串流虚拟现实 (VR)、增强现实 (AR) 和混合现实 (MR) 内容。CloudXR 串流解决方案包括 NVIDIA RTX™ 硬件、NVIDIA RTX 虚拟工作站 (vWS) 驱动以及 CloudXR 软件开发套件 (SDK)。


Autodesk VRED

在 Autodesk VRED 中渲染,通过 5G 串流

ESI Group IC.IDO

ESI Group 的 IC.IDO 协作型 VR 环境

Innoactive

SAP 使用 Innoactive Creator 和 Portal 的原因

Luxion KeyVR

实现一键式操作,将 AR 从 Luxion 的 KeyShot串流到 KeyVR

Theia Interactive


在房间内穿着灰色衬衫的男子

图片来源:Theia Interactive

Masterpiece VR


串流沉浸式 3D 设计和角色创作

Dreamscape Immersive


AT&T、WEVR、Ericsson 和 Dreamscape Immersive 的 5G 用例

Heavenue


Actors Theatre of Louisville 的圣诞颂歌的实验室制作:通过 VR 直播 Scrooge 的 Ghost Encounter


优势

无线 XR 设备体验

高保真、沉浸式 VR 应用通常需要使用限制性的有线 HMD。CloudXR 允许 VR 用户使用无线 HMD,而这丝毫不会影响 VR 体验。

不断发展的无线生态系统

除了众多手机和平板电脑外,还有几家 OEM 正在使用支持 5G 和支持 Wi-Fi 的 VR 的一体式 HMD。

任何 OpenVR 应用的串流

CloudXR 流媒体栈为开发者提供了灵活的高性能云实例,他们甚至可以利用该云实例来串流要求严苛的沉浸式体验。

AR 支持

CloudXR 服务器应用甚至支持通过添加 Alpha 通道将 VR 内容串流到 AR 手机/平板电脑中。此 Alpha 通道用于将渲染内容与实时摄像头流混合在一起。


运作方式

借助 CloudXR,无论设备是无线的瘦客户端还是有线的瘦客户端,VR/AR 内容都可以通过无线网络有线网络串流到任何终端设备。支持 XR 的 Android 平台支持 CloudXR 瘦客户端。


此 SDK 提供了一种方法,即通过访问功耗较大的图形服务器,并利用无线电信号(例如 5G 或 Wi-Fi)串流到功耗相对较低的客户端(例如,基于 Android 的一体式头戴式显示器 (HMD) 或 Vive Pro 等与电脑相连接的 HMD),进而串流图形密集型 XR 内容。该 SDK 还支持将 OpenVR 应用串流至多台与 5G 连接的 Android 设备(包括支持 5G 的手机)。这使得更多的移动设备可以访问功耗较大的服务器,同时也可以在功耗相对较低的图形硬件上使用图形密集型应用。

  • CloudXR 服务器驱动:服务器端二进制文件和库(Windows 10 或更高版本)
  • CloudXR 客户端应用:操作系统 (OS) 特定的二进制文件和库
  • CloudXR 客户端 SDK:操作系统特定的示例应用(包含源代码示例)
介绍 CloudXR 服务器驱动和 CloudXR 客户端 SDK 的表格

CloudXR 服务器为 SteamVR 提供了虚拟 HMD 驱动。这使得现有的 OpenVR 应用能够将 HMD 视为本地连接,因此不需要在应用级别进行任何更改。CloudXR 服务器从 OpenVR 应用中接收帧和音频,然后进行编码并将其传输到 CloudXR 客户端。


在客户端,Cloud XR Client 应用会接收并解码帧和音频,并将其呈现到终端设备的运行时上。此应用还会将控制器、HMD 跟踪数据和其他输入转发回服务器。

支持的设备


头戴式显示器

支持 OpenVR 的 HMD 连接到基于 NVIDIA Pascal™、Turing™ 或 Ampere™ 的 GPU:


HTC VIVE

  • HTC VIVE
  • HTC VIVE Pro
  • HTC VIVE Pro Eye
  • Valve

  • Valve Index
  • 基于 Android 的无线设备:


    HTC VIVE

  • HTC VIVE Focus 3
  • Meta Quest

  • Meta Quest
  • Meta Quest 2
  • Pico

  • Pico Neo 3
  • Pico Neo 3 Pro Eye



  • 移动设备

    特定设备专用的 CloudXR 客户端应用包 (APK):


    希望支持 CloudXR 的 HMD 合作伙伴可以使用 CloudXR 客户端 SDK 创建特定设备专用的 APK。

    受支持的云服务提供商


    CloudXR 在下面的“云服务提供商市场”中可用:


    CloudXR 新闻

    技术演练

    借助 NVIDIA CloudXR 和 Amazon Web Services,开发、部署和分发沉浸式体验

    通过将 NVIDIA CloudXR 与 Amazon NICE DCV 串流协议结合使用,您可以在沉浸式应用开发的各个方面使用按需计算资源。

    了解详情

    NVIDIA 开发者博客

    使用 Omniverse XR Remote 体验沉浸式串流

    借助适用于 iPad 的 NVIDIA Omniverse XR Remote,创作者和开发者现在能够以完全沉浸式的细节体验他们的 3D 内容。

    了解详情

    NVIDIA 开发者博客

    借助 NVIDIA CloudXR 和 HTC VIVE Focus 3,走在沉浸式制作的新前沿

    HTC 发布了 CloudXR 客户端来支持 VIVE Focus 3,这为 VR 开发者面临者的困难的权衡提供了“两全其美”的解决方案。

    了解详情

    NVIDIA 博客

    欢迎使用 Cloud Nine:NVIDIA CloudXR 现已在 Microsoft Azure Marketplace 推出

    通过在 Azure 上推出 NVIDIA CloudXR,NVIDIA 和微软助力专业人士和企业更方便地获得高质量沉浸式体验。

    了解详情

    其他资源


    借助 NVIDIA CloudXR,串流沉浸式 3D 设计和角色创作

    3D 角色艺术家使用 Masterpiece Studio 进行沉浸式创作,完全使用 VR 来与他们创作的作品面对面。通过利用 CloudXR 和 Google Cloud Platform,这些艺术家现在可以实现来自世界各地的影像。

    观看

    解决方案概览:Enterprise XR 的挑战

    创意和技术专业人士使用沉浸式视觉计算平台发挥想象力、进行设计和构建,无论是设计、建造办公大楼和飞机,还是创作故事片,皆是如此。借助虚拟现实和增强现实,这些专业人士现在可以更深入地了解他们的数字创作。

    阅读解决方案概览

    XR 会议点播

    通过 NVIDIA 的 GPU 2021 大会,了解 XR 领域的新动态。观看点播会议部分,了解 HTC、Innoactive、Horizon Productions、Wevr 等公司如何利用 NVIDIA 解决方案(如 CloudXR、RTXGI、VRWorks 和 Omniverse)来突破 XR 开发极限。

    查看播放列表

    准备好开始使用 CloudXR 了吗?

    申请参与体验