Posts by Vikram Sharma Mailthody
数据科学
2026年 8月 25日
在 NVIDIA Dynamo 中借助阴影引擎恢复在数秒内恢复 LLM 推理能力
当 LLM 引擎进程失败时，标准恢复路径涉及冷重启。这需要从存储中将权重加载到 HBM 中，编译内核并捕获 NVIDIA CUDA 计算图。
3 MIN READ
数据中心/云端
2026年 5月 29日
DynoSim：模拟帕累托前沿
现代 LLM 服务难以调优，因为每一次部署都是一组相互作用的选择堆栈：模型后端、张量并行形状、prefill/decode 拆分、
3 MIN READ
精选
2026年 5月 27日
NVIDIA Dynamo Snapshot：面向 Kubernetes 上推理工作负载的快速启动
在生产环境中的推理部署里，需求会随时间波动，因此推理副本需要弹性扩缩容。然而，在 Kubernetes 上冷启动推理工作负载可能需要几分钟。
4 MIN READ
数据中心/云端
2025年 5月 20日
NVIDIA Dynamo 新增 GPU 自动缩放、Kubernetes 自动化和网络优化功能
在 NVIDIA GTC 2025 上，我们宣布推出 NVIDIA Dynamo ，这是一种高吞吐量、低延迟的开源推理服务框架，
2 MIN READ