Eric Harper

Eric Harper 是 NVIDIA 的深度学习工程经理,负责领导 Megatron Core 的工程,Megatron Core 是一个用于大规模训练大语言模型的开源库。他领导的团队专注于提高 NVIDIA GPU 上分布式训练软件的性能、可扩展性和可用性。Hehold 拥有迈亚密大学数学博士学位。

Posts by Eric Harper

数据中心/云端

使用 NVIDIA Megatron Core 扩展逐位确定性预训练

逐位确定性使大规模预训练更易于调试、验证和以可重现的方式恢复。在跨数千个 GPU 训练具有数万亿个参数的模型时,这些优势变得尤为重要, 3 MIN READ