面向游戏开发的 NVIDIA ACE

NVIDIA ACE 是一套面向中间件和游戏开发者的数字人技术解决方案,通过生成式 AI 驱动对话型 NPC 和自主游戏角色。ACE 为数字人的各个环节(从语音、智能到动画)提供现成可集成的云端和端侧 AI 模型。

开始使用
有新版本时通知我

A digital human powered by NVIDIA ACE Unreal Engine 5

主要优势

前沿模型

ACE 提供功能全面的人工智能模型,包括语音与翻译、视觉与智能、逼真动画与行为,专为实现低延迟、高精度以及小内存占用而打造。

专为角色扮演优化

AI 模型支持高效函数调用、快速的检索增强生成(RAG),以及根据指令调优的任务执行,在保证低延迟响应的同时提供可靠的准确性。

便捷灵活的部署模式

ACE AI 模型套件通过 NVIDIA NIM 或 NVIDIA In-Game Inferencing(NVIGI)插件封装,能够通过云端或 Windows PC 高性能部署。


由 AI 驱动的新体验

重新定义游戏类型,或创造全新玩法。利用 NVIDIA ACE,打造能够自主行动、逼真可信的游戏角色,为玩家营造鲜活、真实的世界,或开发智能助手,为玩家提供贴心建议。

自主智能体

KRAFTON 的云族裔 (inZOI) 引入智慧 Zoi,由 AI 驱动,实现自主规划、行动,并对决策进行反思,带来独特的人物互动体验。

自主陪伴角色

KRAFTON 的绝地求生 (PUBG) 推出协同游戏角色 (Co-Player Characters, CPC),由 AI 驱动,能通过自然语言与玩家交流,并自主行动,如同真人队友。

自主敌人

Wemade Next 的传奇5 (MIR5) 推出了由 AI 驱动的 Boss,这些 Boss 会持续学习玩家以往的策略,动态调整战术,为每次挑战带来不同的战斗体验。

可对话游戏角色

Dead Meat 是首款同类推理解谜游戏,玩家可用自己的语言随意提问嫌疑人,还原案情。

AI 助手

Streamlabs 与 Inworld AI 推出智能直播助手,集制作人、技术助手和 3D 虚拟伙伴于一身,为主播带来全方位支持。


开始使用 NVIDIA ACE

对于定制引擎,NVIGI SDK 可帮助 PC 应用开发者更便捷地部署和集成 AI 模型。

了解详情
文档

Riva ASR

可将音频流作为输入,并返回文本转录。NVIDIA GPU 加速,带来高性能与精准转写。

云端访问

通过 NVIGI 下载本地模型 (即将推出)

文档

Whisper ASR

可将音频流作为输入,输出文本转录。兼容 NVIDIA GPU 及所有 CPU。

Riva TTS

接收文本输出,并将其转换为多种语言的自然而富有表现力的声音。专为代理式工作流而打造,并与 NVIDIA GPU 和任何 CPU 兼容。

Mistral-Nemo-Minitron 系列

代理式小语言模型,可实现更好的角色扮演、检索增强生成 (RAG) 和函数调用功能。它们有 8B、4B 和 2B 参数模型,可满足您的 VRAM 和性能要求。设备端模型在 NVIDIA GPU 和任何 CPU 上运行。

Mistral-7B-Instruct

智能小型语言模型,支持更优的角色扮演、检索增强生成(RAG)和函数调用能力。该模型适用于所有支持 ONNX Runtime 和 DirectML 的 GPU 架构。

Nemovision-4B-Instruct

智能视觉-语言模型,结合对屏幕元素和动作的视觉理解与推理,实现更具上下文感知的回复。该本地模型支持在 NVIDIA GPU 和任何 CPU 上运行。

云端访问

通过 NVIGI 下载本地模型 (即将推出)

文档

Audio2Face-3D (运行时)

使用 AI 将流式音频实时转换为面部 blendshape,实现实时唇形同步和面部动画。结合我们的 Audio2Face-3D 插件与 Unreal Engine 5 使用,并搭配配置样例,能够增强您的 Metahuman。Audio2Face-3D 3.0 现已发布,支持 Unreal Engine 5 本地设备运行。

虚幻引擎游戏示例

Audio2Face-3D (创作)

使用 Autodesk Maya 参考应用,离线生成高质量的音频驱动面部动画。通过简洁易用的 Audio2Face-3D 服务界面实现,或深入源代码开发您自己的定制客户端。


数字人平台合作伙伴

Inworld AI

Inworld AI 是一个支持游戏内 AI 代理体验的平台,提供可投入生产的解决方案,将完整的 AI 技术栈与游戏逻辑连接,实现实时数据接入,带来低延迟、高性能的体验。

开始使用
NVIDIA RTX Neural Faces generates an enhanced face in real time
Images of a building rendered better with NVIDIA DLSS 4 and Reflex technologies

Convai

打造具备实时感知与动作能力的对话式 AI 角色。Convai 平台支持主流游戏引擎,助力开发者构建具备 3D 空间感知能力的 AI 角色。

开始使用

NVIDIA ACE 研究

AI Body Motion generates animations to accelerate 3D workflows

生成式 AI 身体运动

角色动画制作复杂且需专业技术与大量时间。AI Body Motion 可根据简单输入(如文本提示、姿态目标)生成高品质动画,大幅简化各级游戏开发者和动画师的动画制作流程。

获取通知

生成式 AI 面部渲染

RTX Neural Faces 是一款全新的生成式 AI 算法,能够帮助开发者实现实时逼真的人脸渲染,跨越“恐怖谷”。该 AI 模型基于角色原始照片构建的数据集进行训练,可接收光栅化人脸和三维姿态输入,并实时生成效果增强的人脸形象。

获取通知
NVIDIA RTX Neural Faces generates an enhanced face in real time

更多资源

A decorative image representing Developer Community

开发者 Discord

img-alt-text

注册开发者时事通讯


点播会议


伦理 AI

NVIDIA 认为,可信 AI 是一项共同责任,并已建立相关政策和实践措施,以支持多样化 AI 应用的开发。开发者在下载或使用模型时,应遵守 NVIDIA 的服务条款,并与支持的模型团队协作,确保模型符合相关行业和用例的要求,同时预防潜在的产品误用。

如需了解该模型在可解释性、偏差、安全与隐私等方面的伦理考量,欢迎查阅 Model Card++ 及其相关分卡。如发现安全漏洞或对 NVIDIA AI 有疑虑,请点击此处进行反馈。

准备好试用 NVIDIA ACE 了吗?

开始使用