AI 工厂必须支持日益庞大的模型和更复杂的推理工作负载。为了满足 AI 工作负载永无止境的计算需求，超大规模企业和 AI 原生公司正在开发定制的 AI 加速器 (XPU) 。大规模部署这些加速器需要高带宽显存 (HBM) 来保持计算输入、足够的封装和芯片区域，以提高计算能力、高效供电和弹性供应链。它还需要一个机架级架构，以便将 XPU 部署到数据中心基础设施中。
NVIDIA NVLink Fusion 是一种连接技术和 IP，使超大规模企业和 AI 原生用户能够将自定义 XPU 和 CPU 部署到 NVIDIA AI 基础设施平台 中。他们可以使用 NVIDIA 纵向扩展和横向扩展技术堆栈、生态系统 和 MGX 机架级扩展架构 来降低开发和部署复杂性、提高性能，并加快半定制 AI 工厂的上市时间。
在软件包层面，NVHBM 是对这一统一架构的补充。NVHBM 是一种定制的 HBM 裸片技术，与领先的内存供应商共同设计和验证，可提高内存带宽，更好地节省面积并降低功耗。这些改进可以帮助自定义 XPU 支持更大的模型，更快地读取 KV 缓存数据，并改进训练和大规模推理。
带宽、裸片区域和功率驱动加速器设计的原因
训练、推理和代理式 AI 工作负载越来越依赖于对模型权重、KV 缓存和激活数据的高吞吐量访问。随着 AI 系统从单个加速器扩展到机架级计算领域，加速器包必须平衡计算逻辑、供电、散热设计和高带宽内存。
HBM 将重要的内存带宽放在加速器附近，但符合领先的内存技术、软件包集成和验证可能会成为自定义加速器程序的瓶颈。通过 NVLink Fusion，客户可以访问经过领先内存制造商验证的 NVHBM 基片，这有助于减少集成和验证瓶颈。
| 特征 | NVHBM 优势 |
|---|---|
| 带宽 | 与标准 HBM4e 相比，显存带宽提升高达 30% |
| 面积 | 更高效的接口连接最多可将计算裸片面积增加 25%，从而获得额外的 XPU 功能 |
| 功率 | 与标准 HBM4e 相比，HBM 的功耗降低高达 15%，可节省数千个 XPU 的能耗 |
现代 AI 加速器中的内存带宽瓶颈
AI 加速器的性能取决于如何始终如一地为计算引擎提供数据。更高的 HBM 速度可在给定的软件包预算内增加可用内存带宽，从而提高为训练和推理的带宽密集型阶段提供服务的能力。NVHBM 可为每个堆栈提供高达 30% 的显存带宽 的显存带宽。对于内存受限或部分内存受限的 AI 工作负载，这将转化为更高的加速器利用率和更高的吞吐量。这可以在 HBM 和计算核心之间更快地移动数据，并保持数据馈送，从而提高大型模型推理期间的每用户 token 吞吐量。
NVHBM 可增加每个加速器的内存带宽，而 NVLink Fusion 可跨更大的域连接加速器，以便工作负载可以更高效地使用分布式计算和内存。
在使用专家并行 (EP) 或 WideEP等高级路由技术时，这种纵向扩展领域尤为重要。在这些场景中，不同的专家位于不同的 GPU 上，需要在整个机架中实现无缝、高速的同步。NVIDIA NVLink 是适用于 AI 工厂的纵向扩展网络结构，可在专家之间传输激活和隐藏状态，并有助于在纵向扩展网络中同步分布式缓存。NVHBM 通过保持本地计算引擎的持续馈送，最大限度地减少数据短缺。
更大的包装空间，更高的灵活性
对于定制 AI 芯片，每一平方毫米都至关重要。加速器设计师必须决定将多少区域分配给矩阵引擎、向量单元、片上 SRAM、缓存层次结构、控制逻辑、内存接口、片上网络和纵向扩展连接。自定义显存的实现有助于减少与访问 HBM 相关的设计和封装用度，从而腾出空间用于特定于工作负载的功能。
随着 AI 工作负载的多样化，这种额外的裸片区域使超大规模企业能够更灵活地针对推理服务、推荐系统、多模态工作流或内部训练工作负载优化 XPU。通过减少显存接口所需的区域，NVHBM 使团队能够将更多芯片直接用于性能。
节省的空间主要通过重新设计的物理内存接口 (PHY) 实现。标准 HBM 依赖于更宽的接口连接，增加了总封装占用空间。NVHBM 使用针对效率优化的定制基片，通过将内存控制器移动到 3D HBM 堆栈并集成自定义 PHY 来减少 I/ O 面积需求。
与 JEDEC HBM4e 标准相比，此设计将 PHY 和支持面积减少了 67%。更窄的接口还简化了 Interposer 路由，可在整个布局中提供高达 80% 的可用硅片。
如图 1 所示，缩小内存接口连接可使中央 AI 计算芯片扩展到新释放的空间。对于计算或其他功能而言，此填海法可将可用的主裸片芯片数量增加高达 30%。额外的芯片区域使 XPU 设计师能够在固定的封装空间内添加更多功能。
节省的电量可实现高效扩展
功率是现代 AI 基础设施中最难的限制之一。HBM 功率会影响加速器功率预算、封装散热设计、机架功率包络和数据中心散热方案。NVHBM 的功耗降低了 15%，为计算创造了额外的功耗和散热空间。
节能在多个层面都很重要。在 XPU 层面，较低的 HBM 功耗可以提高每瓦性能，并为更多的计算或更高的持续利用率创造空间。在机架层面，它有助于减轻供电和冷却系统的压力。在 AI 工厂规模上，即使内存子系统功耗略微降低，也会影响数千个加速器。在使用 2000W XPU 的整个 1GW 数据中心进行复合时，节省的电量可在计算空间中额外提供多达 15000 个 XPU。
其优势对于大型模型推理尤为重要。XPU 必须重复读取模型权重和 KV 缓存数据，同时以低延迟和高吞吐量为用户提供服务。减少移动这些数据所花费的能源有助于加快大型模型的推理速度、提高批量大小，以及更高效地利用部署的功耗。
在机架级扩展中将 NVLink Fusion 与 NVHBM 相结合
NVHBM 在芯片层面提升 XPU 的性能和效率。NVLink Fusion 使超大规模企业和 AI 原生能够将其 XPU 连接到 NVIDIA AI 平台的其他部分。通过将显存带宽增加 30%，裸片面积增加 25%，并节省 15% 的 HBM 功耗，这些共同设计的架构改进转化为每个 XPU 30% 的整体端到端性能显著提升。
这种连接通过 NVLink Fusion chiplet 实现，它将自定义 XPU 和 NVLink 结构连接起来，将机架中的所有 XPU 连接到单个可扩展域中。NVLink 现已推出第六代，是唯一经过验证、专为 AI 工厂打造的纵向扩展网络结构，可提供领先的性能和智能弹性。在上游，XPU 可以通过 NVLink-C2C 连接到 CPU。
NVLink Fusion 采用者可以将自定义 XPU 和 CPU 与 NVIDIA 纵向扩展和横向扩展技术堆栈及生态系统相结合，以降低开发和部署复杂性、提高性能，并加快半定制 AI 工厂的上市时间。通过在单个统一架构上实现标准化，NVLink Fusion 简化了整个数据中心的操作，实现了数据中心容量的灵活调配，并使自定义 AI XPU 能够与 GPU 集成以实现异构计算。
下一阶段的定制 AI 芯片
NVLink Fusion 为 GPU、自定义 XPU 和 CPU、网络和机架级软件提供了通用的纵向扩展基础。NVHBM 通过为新一代加速器提供更出色的内存性能、计算密度、HBM 能效和电源弹性来完善这一基础。这些技术为合作伙伴提供了从自定义 AI 加速器设计到机架级部署和批量生产的更直接的途径。
详细了解 NVLink Fusion 和 NVHBM 在行业中的应用。
