开始使用 NVIDIA ACE

NVIDIA ACE 是一套数字人技术,可借助生成式 AI 让游戏角色和数字助理变得如生。NVIDIA ACE 包含适用于数字人各个方面的技术,从语音和翻译到视觉和智能,再到逼真的动画和行为,再到如生的外观。


云部署:NVIDIA NIM

NVIDIA NIM™ 是易于使用的推理工具,适用于 LLM、VLM、ALM、语音、动画等,可加速 AI 在任何云或数据中心的部署。立即前往以下网址试用最新的 NVIDIA NIM:ai.nvidia.com

ACE 智能体

用于对话管理和 RAG 工作流。

动画图

用于动画混合、播放和控制。

Audio2Face-2D

使用音频制作人像照片动画,并支持唇部同步、眼和头部姿态动画。

Audio2Face-3D

用于将音频转换为 3D 面部动画和唇部同步。即将支持设备。

NeMo 检索器

将自定义模型无缝连接到各种业务数据,并使用 RAG 为 AI 应用提供高度准确的响应。

Omniverse RTX 渲染器

用于将超逼真的视觉效果串流到任何设备。

Riva 自动语音识别

适用于语音转文本工作负载。

Riva 神经机器翻译

适用于多达 32 种语言的文本翻译。

Riva 文本转语音

文本转语音。设备端推理即将推出。

Unreal Render 5 渲染器

此微服务允许您使用虚幻引擎 5.4 自定义和渲染虚拟形象。

VoiceFont

使用 30 秒的参考数据创建独特的语音。


云部署:NVIDIA AI 蓝图

面向客户服务的数字人 NVIDIA AI 蓝图是一种先进的解决方案,允许企业创建 2D 和 3D 动画数字人虚拟形象,提高用户参与度,超越传统客户服务方法。

数字人客户服务 AI 蓝图

此蓝图由 NVIDIA ACE、Omniverse RTX™、Audio2Face™ 和 Llama 3.1 NIM 微服务提供支持,可与使用 RAG 构建的现有生成式 AI 应用无缝集成。


PC 部署:游戏内推理 (IGI) SDK

IGI SDK 可简化 PC 应用程序开发者的 AI 模型部署和集成。SDK 预配置 PC 所需的 AI 模型、引擎和依赖项。它为 C++游戏和应用编排进程内 AI 推理,并支持跨不同硬件加速器 (GPU、NPU、CPU) 的所有主要推理后端。

了解详情
下载测试版

PC 部署:ACE 设备端模型

ACE 设备上模型为自主游戏角色提供代理工作流。这些角色可以感知周围环境、理解多模态输入、战略性地规划一系列行动并实时执行这些行动,从而为玩家提供动态体验。

Audio2Face-3D

用于将音频转换为 3D 面部动画和唇部同步。采用基于扩散的全新架构,可实现更好的唇部同步、非语言提示和情绪。

Mistral NeMo Minitron 指导模型系列

代理小语言模型,可实现更好的角色扮演、检索增强生成 (RAG) 和函数调用功能。

Cosmos-Nemotron-4B-Instruct

智能体多模态小语言模型,为游戏角色提供对现实世界的视觉图像理解,以及屏幕上的动作,以获得更好的上下文感知响应。

Riva

实时转录人类语言,并将语音添加到文本中。


PC 部署:引擎插件和示例

为希望在 RTX PC 上使用生成式 AI 实现 MetaHumans 的虚幻引擎开发者提供插件和示例。

NVIDIA ACE Unreal Engine 5 参考

NVIDIA Unreal Engine 5 参考资料展示了 NPC 与自然语言交互的情况。此工作流包含适用于虚幻引擎 5 的 Audio2Face 设备内置插件以及配置示例。


ACE 工具

用于自定义和简单部署的技术。

Autodesk Maya ACE

在 Autodesk Maya 中简化面部动画,或深入研究源代码,为您选择的数字内容创建工具开发自己的插件。

虚拟形象配置器

使用碱基、头发和服装构建和配置自定义角色。

统一云服务工具

简化多模态应用的部署。


ACE 示例

开始使用下方的 ACE 微服务。这些视频教程为常见的数字人物用例提供了建议。

文本转手势

创建情感分析并将音频发送到 A2X 和 AnimGraph (00:44)

连接 UCF 中的所有微服务 (6:34)

Reallusion 角色

从 Reallusion Character Creator 导出角色并在 Audio2Face 中准备角色 (11:07)

通过参考应用进行设置和流式传输并进行微调 (14:41)

风格化虚拟形象

通过文本输入制作风格化的 3D 虚拟形象并制作动画 (1:43)

使 Vincent 装备兼容 UE5 和 A2X 实时连接 (5:35)

让 Vincent Blueprint 接收 A2X 动画数据 (11:53)

创建 Python 应用,根据文本生成音频并为 Vincent 制作动画 (8:17)