Phuong Nguyen

Phuong Nguyen 是 NVIDIA 的高级 DL 性能工程师,负责 Transformer 引擎的开发。她的工作涵盖 JAX 和 PyTorch 中密集模型和 MoE 模型的混合精度训练和计算通信重叠。她还是 NCCL EP (一种专为 MoE token路由构建的通信后端,并将其集成到 Transformer 引擎中) 的主要贡献者。在使用 NVIDIA 之前,她曾从事高性能计算、稀疏线性代数内核优化和科学计算工作。

Posts by Phuong Nguyen

智能体/生成式 AI

借助 NVIDIA Transformer 引擎在 JAX 中加速无模型 MoE 训练

多专家模型 (MoE) 已成为大规模 AI 模型训练中的关键架构趋势之一。DeepSeek、Qwen 和 Mixtral 是 MoE… 4 MIN READ