Vera Rubin NVL72

共同设计的硬件、软件和模型是提供更高 AI 工厂吞吐量和更低词元成本的关键。测量这一点远远超出了峰值芯片规格。

人工智能由 token 驱动。每个提示、推理步骤和智能体交互都会生成 tokens。在过去一年中，token 的消耗量增长了数倍，

AI 在不断发展，推理模型对 token 的需求不断增加，对 AI 基础设施的每一层都提出了新的要求。计算比以往任何时候都更需要高效扩展，

大规模 AI 创新正在推动对加速计算基础设施的空前需求。训练万亿参数基础模型，采用分解架构支持这些模型，并以高吞吐量处理推理工作负载，