Yan Xu

Yan Xu 是一名高级 AI 软件工程师,在 NVIDIA 使用 Megatron Core 进行大规模语言模型训练。他开发的工具和技术可提高预训练的效率、可复现性和调试难度。他拥有理科硕士学位。马里兰大学帕克分校的计算机科学专业博士学位。

Posts by Yan Xu

数据中心/云端

使用 NVIDIA Megatron Core 扩展逐位确定性预训练

逐位确定性使大规模预训练更易于调试、验证和以可重现的方式恢复。在跨数千个 GPU 训练具有数万亿个参数的模型时,这些优势变得尤为重要, 3 MIN READ