Zhiyu Li

Zhiyu Li 是 NVIDIA 的高级深度学习工程师。他专注于低效、高性能的大语言模型 (LLM) 训练系统和基础设施,包括预训练和后训练框架。他拥有理科硕士学位。计算机科学专业。

Posts by Zhiyu Li

数据中心/云端

使用 NVIDIA Megatron Core 扩展逐位确定性预训练

逐位确定性使大规模预训练更易于调试、验证和以可重现的方式恢复。在跨数千个 GPU 训练具有数万亿个参数的模型时,这些优势变得尤为重要, 3 MIN READ