Posts by Schwinn Saereesitthipitak
数据科学
2026年 8月 25日
在 NVIDIA Dynamo 中借助阴影引擎恢复在数秒内恢复 LLM 推理能力
当 LLM 引擎进程失败时，标准恢复路径涉及冷重启。这需要从存储中将权重加载到 HBM 中，编译内核并捕获 NVIDIA CUDA 计算图。
3 MIN READ
精选
2026年 5月 27日
NVIDIA Dynamo Snapshot：面向 Kubernetes 上推理工作负载的快速启动
在生产环境中的推理部署里，需求会随时间波动，因此推理副本需要弹性扩缩容。然而，在 Kubernetes 上冷启动推理工作负载可能需要几分钟。
4 MIN READ