Kavin Krishnan

Kavin Krishnan 是 NVIDIA 的深度学习系统软件工程师,他在 NVIDIA 工作了 6 年,致力于大规模加速分布式推理。作为 ModelExpress 创始团队的成员,他帮助开发了一个快速的 P2P 解决方案,用于减少分布式 LLM 工作负载的冷启动延迟。他目前的工作重点是优化训练器和生成器在后训练强化学习工作流之间的权重改装。他拥有佐治亚理工学院的机器学习硕士学位。

Posts by Kavin Krishnan

数据中心/云端

ModelExpress:以光速分发模型伪影

每移动一个字节都会产生一定的成本。随着模型检查点数量增长到数百 GB 甚至一 TB,这一成本会迅速增加。更糟糕的是, 3 MIN READ