郁凡

郁凡,NVIDIA 开发及技术工程师, NVIDIA 负责计算和网络技术的工程师,专注于CUDA算子以及网络算法的开发与优化。 Hybrid - EP通信库的开发者之一。拥有澳大利亚国立大学计算机科学硕士学位。

Posts by 郁凡

AI 平台/部署

Hybrid-EP - 面向混合专家模型训练的通信优化方案

在大语言模型 (LLM) 训练领域,超大规模混合专家 (MoE) 模型训练中的EP通信一直是业内公认的难题。 4 MIN READ