Hemil Desai

Hemil Desai 是 NVIDIA 的高级软件工程师,专注于为生成式 AI 和大规模模型构建可扩展的高性能基础设施。他的技术兴趣涵盖深度学习系统、分布式训练框架和 GPU 级 PyTorch 工作负载优化。Hemil 拥有加州大学洛杉矶分校计算机科学硕士学位和普渡大学计算机科学学士学位。

Posts by Hemil Desai

代理式 AI/生成式 AI

在 PyTorch 中加速大规模混合专家训练

长期以来,训练大规模多专家(MoE)模型一直属于少数具备深厚基础设施和分布式系统专业知识的高级用户。对大多数开发者而言, 2 MIN READ