Daiyaan Arfeen

Daiyaan Arfeen 是 NVIDIA 的深度学习架构师,从事可扩展 AI 系统的工作。他的工作涵盖多个领域,包括容错大型模型训练和 DC 规模的 LLM 推理资源分配。

Posts by Daiyaan Arfeen

数据中心/云端

使用 Noniform Tensor Parallelism 提高大规模 LLM 训练的效率

大规模训练 LLM 会带来独特的基础架构挑战,尤其是在作业跨越数千个 GPU 并长时间运行的情况下。这些作业运行的时间越长, 2 MIN READ