Hongkuan Zhou

Hongkuan Zhou 博士是深度学习算法高级工程师。他的工作重点是开发高效且可扩展的 LLM 推理系统。此前,他从事图形神经网络的加速和应用工作。

Posts by Hongkuan Zhou

数据中心/云端

DynoSim:模拟帕累托前沿

现代 LLM 服务难以调优,因为每一次部署都是一组相互作用的选择堆栈:模型后端、张量并行形状、prefill/decode 拆分、 3 MIN READ
数据中心/云端

NVIDIA Dynamo 新增 GPU 自动缩放、Kubernetes 自动化和网络优化功能

在 NVIDIA GTC 2025 上,我们宣布推出 NVIDIA Dynamo ,这是一种高吞吐量、低延迟的开源推理服务框架, 2 MIN READ