孙凯

孙凯, NVIDIA 开发及技术工程师, 2020年加入NVIDIA。在网络通信技术和 NVIDIA集体通信库(NCCL)实现方面拥有专业知识。Hybrid - EP通信库的开发者之一。拥有北京大学工学院的硕士学位。

Posts by 孙凯

AI 平台/部署

Hybrid-EP - 面向混合专家模型训练的通信优化方案

在大语言模型 (LLM) 训练领域,超大规模混合专家 (MoE) 模型训练中的EP通信一直是业内公认的难题。 4 MIN READ