Tong Liu

Tong Liu 是 NVIDIA 的 DevTech 工程师,专门从事优化多专家模型 (MoE) 大语言模型训练和 CUDA 内核开发。他为优化 Megatron-Core 和 Transformer-Engine 框架的关键功能做出了贡献。他拥有中国科学院计算机技术研究所的硕士学位。

Posts by Tong Liu

智能体/生成式 AI

使用混合专家并行优化混合专家训练的通信

在 LLM 训练中,超大规模多专家模型 (MoE) 的专家并行 (EP) 通信面临巨大挑战。EP 通信本质上属于多对多模式, 4 MIN READ