Rachit Garg

Rachit Garg 是 NVIDIA 的深度学习架构师,专注于提高大规模 AI 训练的性能和效率。近年来,他的工作重点是通过跨算法、软件和硬件的创新来改进先进基础模型和 MLPerf 基准的训练。现在,他的工作范围从优化生产级 AI 工作负载扩展到影响未来的 NVIDIA 平台。

Posts by Rachit Garg

智能体/生成式 AI

借助高级融合内核提高 MoE 训练吞吐量

多专家模型 (MoE) 已迅速成为现代大规模 AI 系统的基础组件。它们之所以得到广泛采用,是因为它们能够显著提高模型容量, 2 MIN READ