Hyunjae Woo

Hyunjae Woo 是 NVIDIA Dynamo 团队的高级系统软件工程师,负责研究分布式 LLM 推理系统。他目前的工作重点是跨推理堆栈的快速模型权重迁移,使用 InfiniBand 和 P2P RDMA 等快速网络将硬件推向极限。Hyunjae 拥有密歇根大学的硕士和学士学位。

Posts by Hyunjae Woo

数据中心/云端

ModelExpress:以光速分发模型伪影

每移动一个字节都会产生一定的成本。随着模型检查点数量增长到数百 GB 甚至一 TB,这一成本会迅速增加。更糟糕的是, 3 MIN READ