刘童

刘童, NVIDIA 开发及技术工程师, 专注于优化混合专家(MoE)大语言模型训练以及CUDA算子开发。为Megatron-Core和Transformer-Engine 框架的优化贡献了关键特性。拥有中国科学院计算技术研究所的硕士学位。

Posts by 刘童

AI 平台/部署

Hybrid-EP - 面向混合专家模型训练的通信优化方案

在大语言模型 (LLM) 训练领域,超大规模混合专家 (MoE) 模型训练中的EP通信一直是业内公认的难题。 4 MIN READ