内容创建/渲染

使用 NVIDIA ACE Game Agent SDK 和 Unreal Engine 5 插件在设备上构建 AI 配套工具

NVIDIA RTX 技术通过虚幻引擎的 NVIDIA RTX 分支NVIDIA DLSS 虚幻引擎插件 深度集成到虚幻引擎 5 中。这使开发者能够直接访问高级渲染、帧生成和光线追踪照明。NVIDIA 正在通过新工具扩展这种集成,以在设备上构建 AI 角色和游戏,正如在 2026 年 Unreal Fest 上所宣布的那样。

本文内容包括:

使用 NVIDIA ACE 更轻松地在设备上构建 AI 伙伴 

AI 正在释放新一代 NPC 的潜能,提供之前无法实现的体验。例如,KRAFTON 最近展示了 Ally,他是“绝地求生 ( PUBG:BATTLEGROUNDS)”中的 AI 队友,该游戏使用自然语音交互来理解玩家的意图、解读游戏过程,并实时做出动态响应。Ally 不遵循死板的脚本,而是合作、适应战斗或掠夺,并且自然地沟通。它完全在设备上运行由 GeForce RTX 提供支持的 AI。PUBG Ally 即将推出公测版。

在设备上构建 AI NPC 不仅需要选择合适的 AI 模型,还需要将它们集成到无缝的高性能工作流中。开发者必须克服障碍才能提供可行的体验,例如最大限度地减少即时响应的对话延迟、同步全局和动态游戏状态,以及防止 NPC 陷入无限循环。

借助 NVIDIA ACE Game Agent SDK 测试版和 Unreal Engine 5 插件,游戏开发者和 ISV 可以更轻松地在设备上构建和部署响应速度超快的 AI 伙伴。

什么是 NVIDIA ACE Game Agent SDK?

NVIDIA ACE Game Agent SDK 是一款轻量级的 C/ C++ 代理式框架,专为无缝原生游戏内集成而设计。这是一款开源、完全可定制的解决方案,针对小型模型进行了优化,并在 NVIDIA RTX 上实现了硬件加速。 

开发者通过三个核心 API 类别与 SDK 进行交互:

  • 智能体 API: 一个有状态 API,拥有聊天记录,并使用最少的应用代码自主驱动多步骤、工具辅助推理
  • Chat API: 无状态 API,可让开发者直接控制推理
  • RAG API: 支持从开发者构建的数据库中进行语义、词法和混合知识检索的 API,将最新知识作为模型响应的基础

这些工具共同助力 NPC 根据实时玩家输入,在游戏世界中动态感知、推理和行动。这些工具已在真实游戏中使用并经过实战测试,例如在“全面战争:法老 ( Total War:PHARAOH) ”中使用实验性的游戏内 AI 顾问。游戏测试计划将于 2026 年启动,该顾问以古埃及法老的身份提供上下文建议,如推荐法院行动和建造建筑以镇压叛乱。它采用检索增强生成 (RAG) 架构,可查询 1200 多个互联游戏数据表,实时回答玩家策略问题。

要开始构建游戏的未来,请下载测试版NVIDIA ACE Game Agent SDK

新的 NVIDIA ACE Unreal Engine 5 插件套件包含哪些内容?

面向虚幻引擎 5 开发者和技术美工的全新 NVIDIA ACE 插件套件现已推出。这些本地运行时 AI 模型支持开箱即用的 BlueprintC++ 集成,涵盖三个支柱:

  • 自动语音识别 (ASR): 包含即用型英语语言模型 nemo-conformer-ctc-120m、适用于其他七种语言的下载选项、示例级别以及用于快速设置的 Blueprint 示例。
  • 小语言模型 (SLM): 提供本地 GGUF 支持,用于低延迟文本生成和函数调用功能,针对即时角色对话和决策制定进行了优化,还包括即用型 Qwen 3.5 4B 模型。
  • 文本转语音 (TTS) :包含高质量的 Chatterbox Turbo 350M TTS 模型、示例语音、样本级别和专用插件内容,可让角色瞬间如生。

这些插件使创作者能够直接在游戏逻辑中实现实时转录、动态角色对话、语音命令和上下文动作响应。

与面临高延迟和不可预测的运营成本的基于云的服务不同,这些插件提供了本地、RTX 优化的工作流,并与即用模型捆绑在一起。它们直接为您的 Unreal Engine 5 项目提供即时的端到端 AI NPC 工作流。 

下载 NVIDIA ACE Unreal Engine 5 插件以开始使用,并加入 NVIDIA 开发者 Discord 社区以获取支持和讨论。

如需了解更多信息,请报名参加 6 月 30 日举行的 NVIDIA 在线研讨会,了解如何在 Unreal Engine 5.7 中构建 AI 驱动的 NPC。网络研讨会将提供有关这些插件的更多详细信息,您将有机会向我们提问。

什么是全新的 NVIDIA DLSS 4.5 虚幻引擎插件?

新的 DLSS 4.5 虚幻引擎插件 添加了对 DLSS 4.5 动态多帧生成、多帧生成 6X 模式和用于超分辨率的第二分辨率 Transformer 的支持。

通过该插件,您可以直接访问最新的 DLSS 超分辨率和帧生成更新。该插件基于 Streamline 构建,提供跨 DLSS 功能的一致集成路径,允许开发者有选择地采用光线重建或动态多帧生成等功能。更新的 API、文档和示例代码有助于缩短集成时间,并更轻松地将 DLSS 引入新项目和现有项目。

视频 1. 了解 DLSS 4.5 虚幻引擎插件的功能、安装方法、基本脚本和偏好设置

在 Unreal Fest 2026 上了解详情 

与 NVIDIA 一起参加 Unreal Fest 2026,了解 NVIDIA ACE 和 Unreal Engine 如何重新定义交互式角色表演的未来。

6 月 17 日的会议“准备、设定、行动:为什么您的下一个 NPC 应该成为自己的方法演员”,将介绍构建自主游戏角色的新工作流,该工作流将 NPC 的 角色 与其 执行者 分开。了解如何打造深度反应迅速、始终具有个性的 AI 个性。使用大型教师模型生成的合成训练数据,您可以将蒸馏角色的行为转化为轻量级、可部署的 LoRA 驱动的表演,并在 NVIDIA GeForce RTX 硬件上本地运行。

该会议介绍了游戏开发者如何在 Unreal Engine 5.7 中轻松制作交互式 MetaHuman NPC,完全在设备上使用 NVIDIA ACE 提供动力支持:

  • ACE UE 语音插件:Riva Parakeet ASR 用于实时语音识别,Chatterbox TTS 用于富有表现力的语音合成
  • Audio2Face,用于提供面部动画和表演

最新的工作流允许 NPC 在游戏过程中动态地执行角色操作,然后通过优化动机、生成背景故事材料和帮助构建未来的训练数据来打破角色,直接与开发者协作。

采用 AI 技术的完整第一人称 粉笔战争 (Chalk Warfare) 游戏

拥有 3.5 亿浏览量的“粉笔战争 (Chalk Warfare)”系列背后的工作室“SOKRISPYMEDIA”正在该系列游戏中打造一款完整的第一人称动作游戏,其突出特色依赖于本地 AI。玩家手动绘制他们选择的武器,游戏在几秒钟内就能将其集成到游戏中,训练模型来处理每个武器的持有、射击、反击和重新装弹方式。

为了训练定制匹配的模型而无需支付昂贵的云计算费用,该团队使用了基于两个 NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition GPU 构建的 Puget Systems 工作站。在针对 AI 训练进行调整的硬件上,实时渲染领域的老手能够从 2D 内容跃入可玩的媒介。要在 Unreal Fest 上看到这款游戏的实际效果,请访问 Puget Systems 展台。

Unreal Engine 现已提供可提示、可控的人体运动 

NVIDIA 发布了 NVIDIA Kimodo,一个开源项目,旨在实现可提示、可控的人体运动。用通俗易懂的语言描述一项动作 (“一个人快乐地向前走,然后在空中跳跃”) ,固定特定的骨骼或全身关键帧以获得精确的艺术方向,并在几秒钟内生成复杂的人体动作。

在此项目的基础上,Animotive Kimodo 是一个插件,可将 Kimodo 直接引入虚幻引擎,使动画师无需离开编辑器,即可在自己的设备上对 AI 生成的动作进行优化、分层和手动操作。AI 运动是一个起点,而不是取代工艺的锁定输出。

虚幻引擎插件现已发布,随后将集成 Blender 和 Maya。可自行托管或通过 Animotive Cloud 获取。未来的更新将允许 AAA 工作室安全地上传自己的动画数据集,训练 Animotive Kimodo 遵循其独特的内部风格。详细了解 Animotive Kimodo 发布会

在虚幻引擎 5 中开始使用 NVIDIA ACE 和 DLSS 4.5 

UE Fest 2026 上,NVIDIA 宣布推出更多可通过 NVIDIA ACE 实现 AI 角色和游戏体验的设备端 AI 功能,包括 ACE Game Agent SDK、全新 Unreal Engine 5 插件和 DLSS 4.5。

与 NVIDIA AI 研究负责人 Sanja Fidler、Ming-Yu Liu 和 David Luebke 一起参加 SIGGRAPH 2026 大会,共同探索塑造计算机图形和仿真未来的新突破,会议时间为 7 月 20 日。

面向游戏开发者的资源

查看游戏开发者资源完整列表,及时了解 NVIDIA 游戏开发 的最新动态:

标签