数据中心/云端

智能体底层:大规模提升智能体的 Kubernetes 性能

开源的 Agent Substrate 与 NVIDIA DSX AI 工厂平台中的 NVIDIA Dynamo 及 KAI Scheduler 相结合,用于协调智能体(Agent)执行、推理以及共享集群资源。

AI 智能体大部分时间都处于空闲状态,等待人类提示、工具结果或模型响应。Kubernetes 并非为此而构建。每个会话运行一个 Pod,为未执行任何操作的会话保留内存,并且在轮次之间删除 Pod 每次都会支付数秒的冷启动时间,并丢失智能体的状态。RL 后训练也是如此。

Agent Substrate 现已捐赠给云原生计算基金会 (CNCF) 沙盒,这是一款面向沙盒智能体的开源、安全强化、零信任运行时,旨在安全运行数百万个智能体和工具,密度比标准容器高 10 倍。它在一个小型工作 Pod 池上实现多个会话的多路复用。空闲会话是检查点式的,包含内存和文件系统,并可在下一个请求到来时恢复到空闲的 worker 上。随着代理式基础设施被分割成绕过 Kubernetes 的专有运行时,NVIDIA 正在为保持这项工作的开放性做出上游贡献。

本文将介绍哪些工作负载适合 Agent Substrate、正在上游构建的内容,以及该项目如何在 DSX AI Factory Platform 中与 KAI Scheduler 和 NVIDIA Dynamo 组件配合使用。

智能体工作负载的形状

传统 Web 服务作为相对较少的长生命周期实例运行。智能体遵循不同的模式:它们醒来后只需执行一步,运行 shell 命令、编辑文件、调用测试套件或调用 LLM。然后,在执行下一步之前,他们需要等待,有时需要等待几毫秒,有时需要等待几分钟。代理的状态 (文件系统、进程、工作目录) 必须在步骤之间继续。

Kubernetes 之所以难以运行,是因为为智能体启动计算 Pod 意味着需要遍历 API 服务器、入场等程序、调度程序、kubelet、图像提取和网络设置。这需要几秒钟,对于运行数周的服务来说也是如此。对于必须以每秒数百次的速度出现、运行 10 毫秒的 bash 命令并摆脱这种束缚的沙盒来说,速度太慢了。

这为平台团队留下了两种次优选择:一种是为每个智能体设置一个 Pod 温度,并为几乎一直处于空闲状态的计算付费;另一种是按需创建 Pod,并在每个步骤中支付冷启动费用。

智能体底层的工作原理

Agent Substrate 使用 Kubernetes 运行可用 POD 池。它创建了一个单独的控制平面,将大量行为者 (代理及其环境) 映射到较小的工作者池上。当 Actor 处于空闲状态时,系统会对其沙盒 ( gVisor 或 microVM) 进行快照处理,并释放其工作进程。当 Actor 再次被调用时,系统会将其恢复到工作进程的空闲状态,且其内存和文件系统状态保持不变。

唤醒演员不需要通过 API 服务器、调度程序或 kubelet 进行新的旅程。代理 Substrate 会将角色恢复到现有工作节点上。工作 pod 仍然是普通的 Kubernetes Pod,因此集群调度、配额和放置策略仍然适用,正如我们稍后所述。

推动需求的用例

我们发现,三种工作负载推动了对 Agent Substrate 的需求:

  • 编码助手和智能体服务:编码智能体在 LLM 调用和自身环境中工作之间交替进行:克隆仓库、编辑文件、运行构建和测试。用户期望环境在转弯之间保持不变,并立即做出响应。一个为数千场会议提供服务的平台负担不起为每个会议配备专用的温暖沙盒。
  • 使用代理式环境进行强化学习 (RL) 后训练:具有可验证奖励的 RL 运行 GPU 训练器和生成服务器,以及一系列 CPU 密集型环境 (代码沙盒、编译器、浏览器、模拟器) ,这些环境可执行操作并检查结果。随着产品发布、批量调度,沙盒需求突飞猛进。训练次数可以从早期实验中的几百个沙盒增加到生产中的数十万个。最慢的环境决定了训练器何时获得下一批,因此该路径上的冷启动会导致 GPU 空闲。
  • 用于研究的 GPU 沙盒:研究人员的编码智能体需要 GPU,不是为模型提供服务,而是编译 CUDA 代码、对内核进行基准测试或运行数值计算。它会在共享集群上启动 GPU 沙盒,运行作业并删除沙盒。为在整个组织中实现这一目标,需要许多短期、独立的 GPU 沙盒,这些沙盒可以快速启动并公平共享有限的 GPU 池。

上游工作:登陆内容和未来发展

以下每项贡献都始于其中一个用例。所有这些工作都在 Agent Substrate 资源库中公开:

  • 当每个员工都很忙时,下一个请求会等待而不是失败: 在超额认购系统中,例如处于高峰的编码助手平台或 RL 推出突发,当每个员工都很忙时,用户的下一个回合就会到来。代理 Substrate 过去会立即返回错误,即使其他参与者通常稍后会释放工作者。

在 Agent Substrate 路由器 ( #221 ) 中请求泊车位会保留该请求并重试该恢复,直到有工作人员释放出来,同时具有有限的等待时间和一次可以等待的请求数量上限。后续 ( #1229 ) 可确保向正在运行的 Actor 发出的请求永远不会卡在生产线上。

  • 为智能体的沙盒提供 GPU: 上述研究 GPU 沙盒,以及由 GPU 支持的 RL 环境 (如模拟器) 。

我们正在研究设备可插拔性,以增加对 Kubernetes 动态资源分配 (DRA) 的设备支持。设备供应商通过配置文件插入其设备,沙盒中的每个容器仅请求所需的设备 ( #752 ) ,并且相同的模型适用于 gVisor 和 microVM 沙盒。NVIDIA GPU 将成为首批受支持的设备。

  • 一个容器不能让相邻容器饥饿或死亡:智能体沙盒通常会将智能体的工作负载运行在用于日志记录、代理或指标的辅助容器旁边。其中一些可能不可信。失控的容器不应消耗整个沙盒的内存,并将代理关闭。

microVM 沙盒的每个容器 CPU 和内存限制 ( #859 ) 可解决该问题。超过其内存限制的容器会自行停止,沙盒的其余部分会继续运行。

在挂起和恢复期间保留 GPU 沙盒

当智能体暂停等待人工审核时,其沙盒应释放 GPU,并在稍后恢复,其编译的伪影和加载的数据仍然就位。为此,需要保存并恢复智能体的状态和 GPU 状态。

恢复 GPU 状态会引入硬件兼容性限制。GPU 检查点通常只能在相同的 GPU 型号上恢复,有时只能使用相同的驱动程序版本。智能体 Substrate 提出了解决此问题的设计方案。

设备供应商介绍了如何安全地暂停其设备,以及快照所依赖的设备属性。代理 Substrate 会在每个快照中记录这些属性,并在匹配的设备上恢复沙盒,或者如果没有可用的沙盒,则会回退至完全冷启动状态。该设计与供应商无关,并建立在 DRA 之上。NVIDIA GPU 是首要目标;该设计可以扩展到其他硬件类型。

NVIDIA Dynamo:将智能体循环连接到推理循环

智能体 Substrate 管理智能体的行动位置;推理运行时管理其思考位置。两者都面临着类似的效率挑战:保持空闲的沙盒会浪费 CPU 和内存,而在重复模型调用时重建模型上下文会浪费 GPU 周期。独立扩展每一层可提高利用率。当智能体在工具执行和模型调用之间切换时,协调它们还可以降低延迟并保留可重复使用的上下文。

开源分布式推理框架 NVIDIA Dynamo ,可提供这种协调。智能体 Substrate 可在温暖的沙盒工作者池中激活、暂停和恢复有状态的智能体环境。Dynamo 可在 GPU 工作人员之间编排推理。Dynamo 路由器位于两者之间,将智能体的操作与 GPU 上的操作连接起来。

使推理智能体具备感知能力

传统推理路由将每个模型调用视为独立请求。在智能体中,每个请求都是更长循环中的一个步骤,连续请求通常会重复使用相同的系统提示、工具定义、对话历史记录和早期观察。

Dynamo 的路由器可以查看可重复使用的键值 (KV) 缓存的所在位置、哪些工作人员忙于预填充或解码,以及负载在 GPU 集群中的分布情况。智能体 Substrate 和智能体工具可添加会话标识、请求优先级、预期输出长度、工具调用边界和生命周期事件等信号。

借助这两种技术,Dynamo 可以:

  • 在已持有可重复使用的 KV 缓存的工作节点上保留相关模型调用,而无需创建过载的 GPU 热点
  • 在推理池面临压力时,优先考虑交互式周转,而不是后台智能体工作
  • 保留可用的系统提示词、工具定义和对话历史记录
  • 先从终止的子代理、封闭推理分支或摘要上下文中删除缓存状态
  • 在工具调用接近完成时准备可能的上下文

将 GPU 智能反馈给 Agent Substrate

集成中最重要的部分是,Dynamo 会向 Agent Substrate 公开推理信号,帮助其决定何时让智能体继续运行、暂停或恢复。

Dynamo 比代理运行时更接近 GPU 执行。它可以监控缓存就绪情况、队列压力、主动预填充和解码工作,以及 LLM 请求可能需要多长时间。这些信息可以为推理路由以及 Agent Substrate 调度智能体沙盒的方式提供指导。

Dynamo 可以返回各种信号,例如第一个 token 的预测时间、预计完成时间、请求进度、缓存就绪情况和 GPU 池饱和度。代理 Substrate 可以使用此反馈来决定是否保留 Actor 的驻留状态、在更长的推理等待时间内暂停该 Actor,还是在模型响应接近完成时恢复该 Actor。

在集群规模上,相同的反馈可以帮助调整温暖工人的能力,调节智能体和子智能体的扇出,并避免激活 CPU 沙盒,否则它们会闲置在饱和 GPU 队列后面。

这种整合建立了简单的责任划分。Agent Substrate 管理智能体环境的高频生命周期。Dynamo 可管理推理的高性能生命周期。Dynamo 通过定义代理式计算的循环将两者连接起来:模型调用、工具调用、观察和模型调用。

入门:使用 Dynamo 和 Agent Substrate 的编码助手

本指南提供了在 Dynamo 和 Agent Substrate 上部署编码助手的分步说明。

您将学习如何:

指南链接占位符 – 在提供时添加

  • 将 Pi 编码代理作为 Substrate Actor 运行:为每个代理提供一个隔离的、有状态的环境,以检查资源库、编辑代码和运行测试。
  • 将智能体连接到通过 NVIDIA Dynamo 提供服务的 GLM-5.3 闪存:在 Substrate 管理的沙盒中完成模型推理和工具执行之间的循环。
  • 使用 Harbor 在经过验证的 SWE 工作台上编排评估:针对软件问题运行智能体并收集结果,以评估其更改是否解决了任务。

智能体 Substrate 仍在不断发展。其 API 仍在不断变化,GPU 支持正在新的 DRA 基础上重建,部分 Dynamo 智能体集成处于试验阶段。现在是贡献和帮助塑造核心设计的大好时机。

使用 KAI Scheduler 和 Dynamo 运行智能体底层

Agent Substrate 在 Kubernetes 之上运行,并与 NVIDIA 软件配合使用,后者为模型和放置工作负载提供服务。Substrate 管理有状态智能体环境, KAI Scheduler 放置 Kubernetes 工作负载,Dynamo 为模型提供服务并与智能体运行时交换推理状态信号。

它们共同协调 CPU 端工具执行与 GPU 端推理,从而提高共享集群容量的使用效率。

下表 1 显示了每个作品的放置位置。Dynamo、KAI Scheduler 和 Kubernetes 基础组件是 NVIDIA DSX OS 的一部分。

Agent Substrate 是一个独立的开源 CNCF 沙盒项目,不是指定的 DSX OS 组件,尽管 NVIDIA 正在为上游做出贡献并开发与 DSX OS 组件的互操作性。

架构层 技术 角色 DSX 关系
智能体和 RL 框架 NeMo RL、NeMo Gym、您的智能体工具 智能体循环、部署编排和环境请求 DSX OS 之上的应用层
智能体执行 智能体底层 状态良好、相互隔离的沙盒在温暖的工作者之间实现多路复用 与 DSX OS 组件集成的外部开源运行时
模型服务 NVIDIA Dynamo ( ThunderAgent、Grove、ModelExpress) KV 感知、代理感知路由;预填充/ 解码协调;推理 Pod 的拓扑感知布局 DSX OS 模型服务
工作负载编排 KAI 调度程序 展示位置、队列、分组调度、拓扑感知和公平共享 DSX 操作系统工作负载和 GPU 编排
Kubernetes 基础 AI 集群运行时、GPU Operator、Network Operator、Topograph 经过验证的运行时环境以及 GPU、网络和拓扑管理 DSX 操作系统加速的 Kubernetes 基础

表 1. 在 Kubernetes 上运行 AI 智能体和 RL 环境的堆栈中,Agent Substrate 适合哪些方面:每个层的技术、角色以及与 NVIDIA DSX OS 的关系。

KAI Scheduler 和 Agent Substrate 在不同的调度级别运行: Substrate worker Pod 是普通的 Kubernetes Pod。KAI Scheduler 现在可以将它们与其支持的 GPU 训练器和推理服务器一起放置。通过 KAI 的队列和公平共享策略协调工作者池自动扩展,可以将租户之间的资源共享扩展到环境层。

在 KubeCon 上与我们一起构建智能体基础设施

  • Agent Substrate 社区聚会—11 月 10 日 (星期二) ,盐湖城。维护人员、贡献者和生态系统中的任何人都可以参加一个非正式的交流之夜。加入我们,讨论我们在此博客中提到的所有贡献,并与在 Kubernetes 上构建代理式基础架构未来的人员会面。
  • 闪电会议 – 11 月 11 日 (星期三) 下午 1:15 ( Google Cloud Booth# 122) :“ 从 Pod 到行为者的谈话:适用于代理式工作负载的 GPU 感知基础架构”
  • NVIDIA 在 KubeCon 上的 170 号展位 at KubeCon + CloudNativeCon North America—Nov.10–12. 与我们的专家讨论智能体平台、Kubernetes 上的 RL 后训练、Substrate、Dynamo 和 KAI Scheduler。
  • 在 NVIDIA 170 号展位与专家会面 – 北京时间 11 月 11 日 (星期三) 下午 3:15 – 3:35,讨论 Agent Substrate 和在 Kubernetes 上运行智能体工作负载。
  • 探索完整的“专家面对面”系列—NVIDIA 亮相 KubeCon CloudNativeCon North America 2026

深入了解

如果您要在 Kubernetes 上构建智能体平台、编码助手或 RL 环境,我们希望了解您的工作负载。在活动中找到我们,查看 Dynamo 指南,或打开发行 agent-substrate/substrate 或  ai-dynamo/dynamo。加入社区会议,参与未来的活动。

标签