Johannes Reifferscheid

Johannes Reifferscheid 是 NVIDIA 的首席软件工程师,从事机器学习编译器方面的工作,并担任 XLA 的联合维护人员。他拥有慕尼黑工业大学计算机科学硕士学位。

Posts by Johannes Reifferscheid

模拟/建模/设计

借助主机卸载减少基于 JAX 的 LLM 训练中的高带宽内存瓶颈

在充分利用计算能力之前,大语言模型 (LLM) 训练工作负载越来越多地遇到 GPU 显存限制。模型权重、梯度、优化器状态、 3 MIN READ