Michael Goldfarb

Michael Goldfarb 是 NVIDIA 端到端培训团队的高级性能工程师。他目前正在为 CuteDSL 和 cuTile 的大规模 JAX 训练性能以及自定义内核开发和集成提供支持。他拥有普渡大学电气和计算机工程硕士学位。

Posts by Michael Goldfarb

模拟/建模/设计

借助主机卸载减少基于 JAX 的 LLM 训练中的高带宽内存瓶颈

在充分利用计算能力之前,大语言模型 (LLM) 训练工作负载越来越多地遇到 GPU 显存限制。模型权重、梯度、优化器状态、 3 MIN READ