NVIDIA Vera CPU 提升 AI 工厂吞吐量，加速代理式工作负载

代理式系统通过结合推理、工具使用、代码执行、检索、编排和结果处理的多步骤工作流，将模型推理转化为行动。随着这些系统在整个 AI 工厂中的扩展，性能不仅取决于 GPU 加速，还取决于在模型步骤之间进行的 CPU 工作。

在代理式系统的创建和部署过程中，CPU 可确保 GPU 资源和整个 AI 工厂提供最佳性能。CPU 是推理、响应时间和学习的关键路径，因为它在模型步骤之间执行工作：沙盒评估、工具调用、代码执行、数据处理、KV 缓存协调和结果处理。

对于代理式 AI，最重要的 CPU 指标之一是在全插槽负载下保持每个核心的性能。套接字可能包含并发沙盒、工具、仿真、编排任务和数据服务，但每个智能体或 RL 工作流仍然依赖于必须先完成的顺序步骤，才能开始下一步。更多的核心可提高跨工作流的并行性；更快的核心可决定每个工作流的推进速度，从而生成 token、更新模型或提供下一轮服务。

 如果 CPU 端执行速度变慢，GPU 集群会受到三种主要影响：

1. RL 在每个周期收到的有用评估较少，导致训练时间过长。
2. 为个人用户提供服务所需的时间更长。
3. KV 缓存将被逐出，车队将失去缓存上下文所节省的计算资源。

以下各节将探讨 NVIDIA Vera 如何应对这三个挑战，以及 NVIDIA Vera CPU 设计如何更大限度地提高集群性能。

Vera CPU 可生成更智能、更高效的智能体

RL 通过在 GPU 和 CPU 之间引入持续的交互式反馈回路，改变了计算范式。与简单地将数据流式传输到加速器的 AI 训练 不同，RL 需要主动生成体验数据。此数据生成阶段，通常称为环境部署或模拟，高度依赖基于逻辑的顺序处理。

图 1. RL 训练关键路径上的 Vera CPU 角色

当处理器在这些高度并行的部署阶段停止运行时，整个训练流程都会受到影响。处理器速度较慢意味着每秒完成的环境步骤较少，这会降低模型策略更新 (称为梯度) 的质量。

这些梯度充当发送给神经网络的数学指令，告诉它如何准确地改进其策略。在 RL 中，它们完全依赖于训练信号，例如这些 CPU 环境生成的反馈和奖励。由于难题依次深入，CPU 每核性能会影响训练窗口内可以完成评估的环境数量。例如，基准 CPU 可能只完成 45% 的评估，而让 GPU 等待可操作的反馈。

图 2. Vera CPU 核心速度提高 1.8 倍，可提供更多 RL 反馈

作为大规模的最大单线程 CPU，Vera CPU 通过最大限度地提高全插槽负载下的持续单核性能来解决这一瓶颈。凭借 1.8 倍的核心速度提升，Vera CPU 可在同一窗口内完成高达 85% 的评估。Vera CPU 可提供更多的 RL 反馈，从而提供更丰富、更高质量的训练信号。这使 GPU 能够计算更准确的梯度，从而加快收速度并生成更智能的模型。

这一改进是通过 NVIDIA Olympus 核心实现的，该核心专为主导 RL 和智能体执行的顺序、分支密集型 CPU 工作而设计。表 1 概述了 Vera CPU 特性及其对 RL 工作负载的影响。

Vera CPU 帮助每小时为更多用户提供服务

从离线训练到实时交互式代理部署，主要的优化指标从纯吞吐量转变为严格、可预测的延迟。在这些环境中，AI 智能体自主运行，通过执行一系列操作来解决复杂的用户查询。

此序列中的每个步骤都需要启动工具调用、运行代码、编译测试或查询数据，然后模型才能继续。

图 3. Vera CPU 可提供更快的代理式响应

要大规模保持这种响应速度，低平均延迟是不够的。当套接字加载许多并发沙盒、服务和数据处理任务时，智能体需要可预测的延迟。

Vera CPU 旨在降低加载时的延迟损失，如图 2 所示。Vera CPU 为其 88 个 Olympus 核心使用整体式计算芯片，避免了多芯片 CPU 设计中常见的性能瓶颈，即工作负载可能会溢出到小芯片或子 NUMA 域。这避免了复杂的跨芯片核心到核心的跃点。

图 4. 与 x86 CPU 相比，Vera CPU 可提供更高的带宽和更低的延迟

结合大型统一缓存和 NVIDIA 可扩展一致性结构 (SCF) ，数据在整个系统中的移动更加一致。与 x86 CPU 相比，这种以代理为中心的精心实施使 Vera CPU 的峰值加载延迟降低了 40%。这种可预测的结构有助于降低尾部延迟，确保工具响应严格按照计划进行。

除了延迟之外，智能体还需要巨大的内存带宽。数千个并发沙盒、工具调用、检索操作、数据库查询和数据处理任务必须移动不规则的大型数据集，同时使每个智能体的状态、上下文和输出更接近核心。Vera CPU 采用节能高效的 LPDDR5x，可提供高达 1.2 TB/s 的总显存带宽，以及每个核心高达 14 GB/s 的显存带宽。这是每核心显存带宽的 3 倍以上，而功耗不到传统数据中心 CPU 的一半，这有助于智能体在每个核心处于活动状态时维持吞吐量。

其结果是响应迅速的代理式 AI 工作流，能够维持严格的服务水平协议 (SLA) ，而不会出现阻碍用户体验的硬件瓶颈。

Vera CPU 可更大限度地提高每个会话的 GPU 计算量

在代理式推理中，GPU 不会一次不间断地工作。单个会话可能包含多个模型步骤，这些步骤由 CPU 端工具调用、代码执行、检索、数据库查询或沙盒评估相分离。在完全订阅的数据中心中，GPU 不会通过这些缺口等待。在 CPU 工作期间，它需要处理新的请求和新的活动上下文。随着请求的累积，原始追踪的 KV 缓存变得更加难以保留到位。

图 5. 缓慢的工具调用可能会触发缓存驱逐，并且重新计算成本高昂

CPU 速度越慢，GPU 计算步骤之间的差距就越大。这使得系统更有可能需要从 GPU 显存中移除原始请求的 KV 缓存，以便为准备运行工作的其他用户腾出空间。当工具调用完成时，GPU 可能需要通过将早期序列作为大型输入提示重新处理来重建先前的上下文，而不是从缓存状态恢复。

Vera CPU 有助于压缩追踪的 CPU 侧部分。更快的工具执行、更强大的负载下单核心性能、高内存带宽和可预测的延迟可缩短代理在 GPU 步长之间的等待时间。这缩短了 KV 缓存面临拆迁压力的时间窗口，在 HBM 中保留了更活跃的上下文居民，并通过昂贵的重新计算减少了重建先前状态的需求。

其结果是，GPU 将更多时间用于有用的 token 生成，而不是重建上下文，从而使 CPU 性能直接提升饱和代理式系统中的 GPU 效率。

加速 AI 工厂的未来

Vera CPU 整合了对代理式 AI 工厂至关重要的 CPU 功能：持续的每核心性能、可预测的负载下低延迟、巨大的内存带宽以及大规模的高效数据传输。随着代理式 AI 的扩展，CPU 不再是后台基础设施。它是 AI 工厂吞吐量、响应速度和 GPU 效率的直接驱动力。NVIDIA Vera CPU 通过减少停机、限制重新计算，并帮助整个系统在负载下保持高效，旨在更大限度地提高新一代代理式 AI 工厂的性能。

要了解这些功能如何转化为实际性能，请详细了解 Vera CPU，NVIDIA Vera Rubin NVL72，以及 Phoronix 的 Vera CPU 基准测试。

基于测量数据的相对性能，可能会发生变化。采用 LPDDR5X 的 NVIDIA Vera CPU 性能以最新的 x86 CPU 为基准。