游戏中的 AI 伙伴长期以来一直受到固定对话的限制。PUBG Ally 是另一种系统。这款 AI 队友由 KRAFTON 为“绝地求生 ( PUBG:BATTLEGROUNDS ) ”打造,由 NVIDIA ACE 及其高效模型和工具套件提供支持。
PUBG Ally 使用自动语音识别、2B 参数小语言模型和文本转语音来理解玩家的声音,通过游戏上下文和动态事件进行推理,并实时做出响应。KRAFTON 将这一结果称为联合游戏角色 (CPC) :这是一个不同于非游戏角色 (NPC) 的新类别,旨在实现不同会话之间的合作、适应和记忆。
“绝地求生 ( PUBG Ally) ” 于 6 月 17 日进入公测版,并将在 6 月 30 日之前在“绝地求生 ( PUBG:BATTLEGROUNDS) ”街机模式中面向游戏玩家提供。
我们与 KRAFTON 的研究负责人 Hyunseung Kim 和项目经理 Yujeong Son 一起深入探讨了架构、延迟挑战、多语言支持,以及他们构建和调整输出不确定的 AI 系统所学的内容。
KRAFTON 已将 PUBG Ally 设定为与传统 NPC 不同的可共同玩角色。在实践中,这种区别意味着什么?为什么 “绝地求生 ( PUBG:BATTLEGROUNDS) ” 是引入这种区别的正确标题?
在 NVIDIA ACE 的支持下,Ally 通过自然语音交互理解玩家的意图,解释当前的游戏情况,并实时做出动态响应。Ally 可以与玩家合作,根据战斗或掠夺情况调整其行为,并在游戏过程中自然地进行交流。
他们的目标是打造一款比传统机器人更接近真正队友的 AI 助手。
“绝地求生 ( PUBG:BATTLEGROUNDS) “是引入这一概念的理想游戏,因为”绝地求生 ( PUBG) “的游戏玩法主要由团队合作、沟通和不可预测的紧急情况驱动。在大逃杀游戏环境中,玩家会不断在压力之下做出战术决策,分享物品、协调行动、恢复队友的活力,或应对突发的战斗遭遇。这些类型的动态交互为 CPC 创造了一个强大的环境,使其能够以传统 NPC 系统无法做到的方式探索有意义的合作和上下文理解。
介绍 PUBG Ally 的技术架构。交互式工作流通过 NVIDIA ACE 将自动语音识别、小语言模型和文本转语音功能相结合。该工作流是如何构建的,以及这些组件如何在实时匹配中协同工作?
在宏观层面,工作流将两个输入 (玩家的声音和游戏的实时状态) 转换为两个输出:Ally 的语音和游戏中的动作。NVIDIA ACE 和自定义 AI 模型可在设备上运行:NVIDIA 自动语音识别 (ASR) 、NVIDIA 小语言模型 (SLM) 和自定义内部文本转语音 (TTS) 模型。他们周围坐着我们自己的代理工具和游戏端集成。
当玩家说话时,ASR 会转录语音。同时,游戏引擎会显示实时匹配状态,智能体会通过观察工具将其读取为纯文本描述。因此,在每个回合中,SLM 都根据转录的请求以及比赛中发生的情况的文本视图来工作。
SLM 是决策核心。它运行由说话者或游戏事件触发的事件驱动循环,观察所需内容,并产生两种输出。语音被传递给 TTS,并以 Ally 的声音回放;游戏动作被传递给游戏端,行为树在此执行它们,并处理快速、反应性的游戏过程,无需等待语言推理。所有这一切都会在本地持续进行,因此玩家可以自然地与 Ally 交谈,而 Ally 也可以在情况需要时自行说话和行动。
为什么选择小语言模型而不是更大的 LLM?在设备端运行 Mistral-NeMo-Minitron-2B 在延迟、硬件覆盖范围和玩家体验方面给您带来了什么?
对于 PUBG Ally,我们的首要任务是打造一个能够以游戏速度响应的 AI 队友。在实时游戏中,即使是微小的延迟也会改变交互的自然或实用性。当我们测试云托管的 LLM 方法时,网络延迟和模型推理延迟的结合通常会让实时小队沟通变得过于缓慢。
在本地运行 NVIDIA ACE Mistral-NeMo-Minitron-2B SLM 消除了网络往返,并在游戏过程中为我们提供了更可预测的响应时间。这在用户测试中非常重要:玩家始终重视小语言模型的响应速度和临场感。《绝地求生 ( PUBG Ally)》在当下立即可用,在这种背景下,这不仅仅是广泛的通用推理。
设备端部署也受到严格限制。《绝地求生》(PUBG)是一款图形丰富的游戏,已经消耗了大量GPU显存,因此AI伴侣可用的VRAM有限。在2B参数下,Mistral-NeMo-Minitron-2B已经是一个紧凑的起点,具有强大的指令跟随质量,我们进一步量化了它以用于客户端部署。量化模型适合《PUBG》之后剩余的VRAM空间,使《PUBG》Ally能够以低至8GB的总VRAM在GPU上运行。
延迟是求生战场中的一切。您的团队使用了哪些特定技术来保持从语音输入到语音响应的往返速度足够快,以支持实时战斗,以及您在哪里花费了最多的工程精力?
延迟是 PUBG Ally 最大的设计限制之一:对话和游戏中的动作都必须实时进行。由于体验在设备上运行,我们优化了小语言模型的推理成本以及快速行动和语言推理之间的分离。
在模型方面,我们设计了提示结构,以充分利用 KV 缓存。稳定的指令和游戏环境会尽可能地前后一致,而每次回合只更新最相关的实时信息。这减少了冗余计算,并提高了设备端响应时间的可预测性。
在架构方面,我们不希望每个游戏中的反应都等待语言推理。我们将其视为系统 1/ 系统 2 问题,这类似于人类决策制定过程中快速、本能的响应和缓慢、深思熟虑的推理。系统 1 层作为行为树实现,以游戏刻度率处理快速、反应性的游戏,例如移动、瞄准和即时战斗响应。系统 2 层 (即语言模型) 负责处理刻意的工作:解释玩家意图、与玩家进行协调,以及生成自然语言。Reflex 级别的操作无需等待模型完成。
在定义这两个层之间的边界方面进行了大量的工程工作,以确定哪些层应由系统 1 游戏层立即处理,哪些应通过系统 2 语言模型进行路由。要让 PUBG Ally 在战斗中拥有足够的响应速度,同时保持 AI 队友的灵活性和自然程度,正确划分势在必行。
PUBG Ally 理解 PUBG 特定的术语、地图、物品和武器属性。您是如何适应该领域的,以及如何让 Ally 的响应基于实际的游戏状态?
我们通过两个步骤来解决这个问题。首先是决定什么是不可处理。我们没有要求模型应对所有可能的 PUBG 场景,而是限制了整个世界:单一地图 ( Sanhok) 和单一模式 ( AI Duo) ,并采用固定项目分类法来定义 Ally 可以使用的内容、可以识别但不能使用的内容,以及在此环境中不存在的内容。在一个封闭的世界中工作,使得下游的一切变得更加容易处理。
在此基础上,我们构建了一个确定性的 PUBG 规范,并将其放入更大的教师模型的系统提示词中:Sanhok 地标、物品和武器知识,以及 Ally 实际功能的清晰说明。这位教师用它来生成有根据的回答,展示了正确的 PUBG 术语和风格及其自身的局限性,包括何时调用知识查找工具,并以包含武器、附件、物品和规则的精选字典为后盾。我们将所有这些内容提取到设备端学生模型中,因此这些行为成为学生自己的行为,而不是一组指令。
保持 Ally 处于实时游戏状态是另一个问题,我们以代理方式进行处理。Ally 决定需要了解的内容,并仅通过工具调用来获取这些信息。智能体拥有一套观察工具:自身状态、队友、附近物品、战斗情况。每个模型都会返回其权威引擎数据片的纯文本视图,例如:“你在杂志中配备了 M416、24/ 30 子弹。HP 78%,位于安全区域内。”
系统提示确定这些工具结果是当前匹配的唯一真值,在蒸馏期间,教师强化了通过工具重新观察的习惯,而不是回顾先前的情况,学生模型将这一学科作为自己的学科吸收。因此,即使游戏瞬息万变,Ally 的真实说法也可以追溯到它之前有意从引擎瞬间提取的值,而不是模型猜测的值。
PUBG Ally 支持英语、韩语和中文。多语言支持为工程挑战增加了什么?您如何平衡不同语言的质量?
多语种支持增加了复杂性,因为 PUBG 通信不仅仅是标准语言。玩家使用简短的命令、语、缩写、物品名称、地图标注和文化特定的表达,尤其是在快速战斗情况下。
为了解决这个问题,我们通过研究“绝地求生大逃杀 ( PUBG )”玩家在英语、韩语和中文社区中的实际交流方式,构建了特定语言的数据。我们还与语言专家合作,审查每种语言的质量、自然程度和游戏适当性。
在 CES 2026 上,KRAFTON 展示了具有长期内存的 PUBG Ally。是如何为游戏体验增加内存解锁的?它是如何实现的?
Ally 的记忆是结构化的,它在两个时间尺度上运行。长期内存会在匹配项中传输。它包含玩家的个人资料 (他们的姓名、首选武器、最喜欢的丢弃位置以及他们与 Ally 分享的个人详细信息) ,以及与该玩家之前的比赛记录,包括最终排名和重要时刻。短期记忆是比赛内的上下文:玩家最近的讲话和当前游戏中刚刚发生的事情。
最清晰的信号来自玩家测试后的评论。在第一次对战中,一位玩家让 Ally 留意自己是否拥有 Beryl,而在下一场对战中,Ally 在没有被问的情况下开始寻找 Beryl。另一位玩家将自己的名字告诉了 Ally 一次,而 Ally 已经在下一场比赛中使用了这个名字。一些玩家表示,Ally 会记住自己喜欢的武器和在比赛中最喜欢的掉落位置,然后自己将它们拉出来。正是在这些时刻,Ally 从每场比赛的助理变成了被视为持续的队友。
迭代循环是怎样的?如果 AI 队友的输出结果不确定,您该如何测试和调优,尤其是在一致性至关重要的多人竞技游戏中?
测试 AI 队友与测试聊天机器人或独立模型截然不同。优秀的队友是指玩家在实际比赛中认为有用、及时且可靠的队友。用户体验是最重要的信号,也是直接评估的最困难的事情。
这就是我们的调优过程结合多个评估层的原因。我们使用自动评估来检查 Ally 是否遵循预期的交互协议,是否正确使用了可用工具,以及是否保持了语音和动作的一致性。然后,我们通过实时游戏测试和 A/ B 测试比较候选模型,通过调查和自由形式反馈来了解玩家真正注意到和关心的问题。最后,我们通过大规模游戏测试验证了选定的模型,并根据一千多名真实玩家的游戏反馈完善了 Ally。
玩家反馈有助于我们了解 Ally 在哪些方面失败了,以及玩家在 AI 队友中喜欢、不喜欢和重视哪些方面。我们使用这些偏好设置来完善评估标准并指导进一步调整。
对于希望使用 NVIDIA ACE 构建首个 AI 赋能伴侣或队友的工作室,您会给他们什么建议?
游戏的目标是玩家的体验,这可以归结为队友是否感觉自己是优秀的队友。这很难通过离线指标或仅凭小型内部团队来判断。因此,最重要的循环很简单:开发快速原型,将其提交给大量真实玩家,并根据他们的反馈改进模型,然后重复。这个周期的每一次转变都让我们了解到“优秀队友”的真正含义,这比任何前期设计都要多。如果我们能给出一条建议,那就是让循环尽早运行,并保持足够低的成本,以便经常运行。
展望未来,您认为 CPC 的未来发展方向如何?更多的自主性、盟友之间的多智能体合作、更丰富的感官输入?
对我们来说,下一步最重要的是发现。通过街机模式,我们希望了解玩家在使用 AI 功能 (如 Ally) 与他们一起玩时,如何真正享受游戏,并使用我们发现的东西为游戏准备真正的新乐趣。
CPU 可以理解玩家并以脚本化系统无法实现的方式适应他们,因此可能的空间非常广泛。街机游戏测试是我们第一次真正的机会,看看玩家倾向于哪些可能性,并让它塑造我们下一步构建的东西。
开始使用 NVIDIA ACE
我们很高兴能在 PUBG Ally 上与 KRAFTON 合作,并见证 CPC 概念进入公测版。如果您要构建 AI 驱动的游戏角色,请开始使用 NVIDIA ACE,这是一套用于语音、智能和动画的本地和云 AI 模型。
面向游戏开发者的资源
单击此处查看游戏开发者资源的完整列表,并关注我们,及时了解最新的 NVIDIA 游戏开发新闻:
- 在社交媒体上关注我们:X、LinkedIn、Facebook 和 YouTube
- 加入我们的 Discord 社区