Ashwath Aithal

Ashwath Aithal 是 NVIDIA 的 AI 和深度学习系统及算法总监,负责带领团队开发用于训练和优化大型 AI 模型的软件。他的工作涵盖 NVIDIA Megatron Core、NVIDIA NeMo 和 NeMo RL,专注于可扩展的分布式训练、强化学习和性能优化。他拥有罗格斯大学电气和计算机工程硕士学位。

Posts by Ashwath Aithal

数据中心/云端

使用 NVIDIA Megatron Core 扩展逐位确定性预训练

逐位确定性使大规模预训练更易于调试、验证和以可重现的方式恢复。在跨数千个 GPU 训练具有数万亿个参数的模型时,这些优势变得尤为重要, 3 MIN READ