Nicholas Noble

Nicolas Noble 是 NVIDIA Dynamo 团队的高级软件工程师,负责处理分布式 LLM 推理基础架构。他创建了 ModelExpress 的初始版本,这是项目中的第一段代码,并围绕它进行基准测试和运行时部分,利用他在视频游戏开发方面的经验,从软件和硬件堆栈中提取尽可能多的性能。Nicolas 曾在其祖国法国学习,并在法国洛林大学获得了学位。

Posts by Nicholas Noble

数据中心/云端

ModelExpress:以光速分发模型伪影

每移动一个字节都会产生一定的成本。随着模型检查点数量增长到数百 GB 甚至一 TB,这一成本会迅速增加。更糟糕的是, 3 MIN READ