Kai Sun

Kai Sun 是 NVIDIA 的开发技术工程师。他于 2020 年加入 NVIDIA。他在网络通信技术和 NCCL 实施方面拥有专业知识。他是 Hybrid-EP 通信库的开发者之一。Kai 拥有北京大学工程学院的硕士学位。

Posts by Kai Sun

智能体/生成式 AI 2026年 2月 2日

使用混合专家并行优化混合专家训练的通信

在 LLM 训练中，超大规模多专家模型 (MoE) 的专家并行 (EP) 通信面临巨大挑战。EP 通信本质上属于多对多模式， 4 MIN READ