Vikram Sharma Mailthody

Vikram Sharma Mailthody 博士是 NVIDIA Research 的成员,也是 NVIDIA Dynamo 的联合架构师。他的工作重点是解决新兴数据中心工作负载中的基础系统级挑战,重点是可扩展的 GPU 显存和存储系统架构。

Posts by Vikram Sharma Mailthody

数据中心/云端

DynoSim:模拟帕累托前沿

现代 LLM 服务难以调优,因为每一次部署都是一组相互作用的选择堆栈:模型后端、张量并行形状、prefill/decode 拆分、 3 MIN READ
精选

NVIDIA Dynamo Snapshot:面向 Kubernetes 上推理工作负载的快速启动

在生产环境中的推理部署里,需求会随时间波动,因此推理副本需要弹性扩缩容。然而,在 Kubernetes 上冷启动推理工作负载可能需要几分钟。 4 MIN READ
数据中心/云端

NVIDIA Dynamo 新增 GPU 自动缩放、Kubernetes 自动化和网络优化功能

在 NVIDIA GTC 2025 上,我们宣布推出 NVIDIA Dynamo ,这是一种高吞吐量、低延迟的开源推理服务框架, 2 MIN READ