AI 平台/部署

借助 NVIDIA Snapshot 在数秒内启动和恢复 GPU 工作负载

NVIDIA Snapshot 是 NVIDIA DSX AI Factory Platform 的新开源组件,使初始化的 GPU 工作负载能够在推理副本中重复使用,从而加快启动和恢复速度。

当推理需求高峰或副本失败时,可用的 GPU 不会立即转化为服务容量。初始化 LLM 工作负载 (即冷启动过程) 可能需要几分钟时间,从而延迟扩展和恢复。

快照是 Kubernetes 上用于 GPU 工作负载的检查点和恢复系统。它可以捕获完全初始化的工作负载 (包括 CPU 和 GPU 显存) ,并在兼容的基础设施上恢复该状态,从而在数秒内 (而非几分钟) 实现推理能力上线。图 1 显示了启动序列。快照会跳过重复的工作负载初始化;基础架构配置和容器镜像加载仍在测量的恢复路径之外。

本文将介绍 Snapshot 如何检查并恢复 GPU 工作负载、平台团队如何集成这些工作负载,以及在三个推理引擎中,如何将恢复时间与冷启动时间进行比较。

AI 工厂运营快照

Snapshot 最初是为 NVIDIA Dynamo 推理工作者开发的,提供检查点和恢复功能,可供其他推理引擎、调度器、控制器和平台集成。

Snapshot 为 GPU Pod 提供了两项操作:

  • Checkpoint :工作负载完全初始化后,将其 CPU 和 GPU 显存捕获为可移植的构件。
  • 恢复:在具有相同 GPU 型号和驱动程序的任意节点上,从该构件启动新的 Pod。该过程从设置检查点的位置继续进行,因此会跳过权重加载、编译和图形捕获。

这两项操作都使用 Kubernetes 自定义资源。要检查已在运行的 Pod,请创建 PodSnapshot 并为其命名。要从模板启动 Pod 并在其准备就绪后立即设置检查点,请改为创建一个 SnapshotJob 。要恢复,请将标注 nvidia.com/restore-from 添加到新的 Pod 中,并将其命名为要恢复的 PodSnapshot 。工作负载只需在检查点前稍作握手,即可暂停,并在恢复后继续。该库包含 vLLM、SGLang 和 NVIDIA TensorRT LLM 的现成示例。

快照可以检查点和恢复跨单个节点上多个 GPU 的兼容工作负载,作为跨 rank 的单个检查点构件。这支持使用张量并行 (TP) 、数据和专家并行 (DEP) 以及解码上下文并行 (DCP) 等并行策略快速启动大型混合专家 (MoE) 模型。工作负载必须满足 Snapshot 的检查点/ 恢复和运行时兼容性要求。查看示例配置。

基准测试

设计合作伙伴还根据自己的工作负载评估了 Snapshot:

  • Snapshot 的上游贡献者 Crusoe 在 NVIDIA HGX B300 上将 GLM-5.3 Pod 就绪时间从大约 8 分钟缩短到了 31 秒。
  • Token 工厂平台 Saturn Cloud 对 NVIDIA HGX B300 上的 vLLM 启动时间从 2 – 8.5 分钟缩短到 6 – 34 秒。

以下基准测试展示了 Snapshot 如何在 vLLM、SGLang 和 NVIDIA TensorRT LLM (TRT-LLM) 中加速推理启动,模型包含 6 亿个参数,以及 8 个 GPU 上具有 1 TB 检查点的混合专家模型 (MoE) 。在所有测试配置中,Snapshot 可在 45 秒内恢复副本,比冷启动快 8 到 36 倍。

方法

每种配置都在相同的硬件和软件堆栈上使用两种策略进行测试:

  • 冷启动: 工作负载从头开始。时钟从进程启动开始运行,直到引擎初始化返回,然后再进行推理。测量分为四个阶段 (表 2) :
    • 启动: 启动引擎和工作进程,导入 Python 库,并在 GPU 之间建立通信。此处还会执行一些即时 (JIT) 核函数编译。
    • 模型加载: 读取模型权重并构建模型张量,包括加载时完成的任何特定于引擎的转换或重新包装。
    • 初始化:准备要服务的加载模型:内存分析、分配键值 (KV) 缓存和运行时缓冲区,以及其他内核和运行时准备。
    • 编译、自动调整和图形捕捉:编译内核 (例如,使用 torch.compile ) 、针对 GPU 自动调整内核,以及捕捉 CUDA 图形。
  • 快照: 工作负载从检查点恢复。时钟从要求快照恢复的那一刻起开始运行,直到工作负载重新开始运行。测量分为四个阶段 (表 3) :
    • 智能体设置: 节点上的 Snapshot 智能体找到检查点构件并准备目标 Pod 和 GPU。
    • 用户空间中的检查点/ 恢复 (CRIU) 恢复: CRIU 是用于设置检查点进程的标准 Linux 工具,可将进程镜像从存储读取到主机内存。速度主要由存储后端设置。
    • CUDA 恢复:将 GPU 状态复制回 GPU 显存。
    • 唤醒/ 重新映射:根据新节点调整进程并唤醒引擎。

这两项测量均不包括提取容器镜像和设置容器运行时。在每个检查点之前触发 KV 缓存释放,因此它不是构件的一部分。

表 1 还会报告检查点时间和大小:捕获完全初始化的副本所需的时间以及存储的构件所需的存储空间。这是每个模型和配置的一次性成本。

设置

  • GPU:NVIDIA B200
  • NVIDIA 驱动程序: 615.71.09
  • 存储后端: VAST (NFS)
  • 推理引擎:
    • vLLM 0.31.0
    • SGLang 0.5.21
    • TensorRT LLM 1.3.0

结果

基准测试显示了四个主要结果。

  • 恢复时间不到 43 秒:在所有测试配置中,Snapshot 可在 3.6 到 42.7 秒内恢复副本,比冷启动快 8 到 36 倍。大型 MoE 模型在 8 个 GPU 上具有大约 600 GB 到 1 TB 的检查点,恢复时间不到 43 秒,而冷启动时间为 6 到 19 分钟。
  • 恢复跳过的不仅仅是权重加载:冷启动时间包括加载权重、编译和自动调整内核以及捕获 CUDA 计算图。快照可恢复初始化的工作负载,跳过这些重复步骤。
  • 检查点会通过第一个恢复的副本得到回报:在每个测试配置中,检查点时间和恢复时间都比单次冷启动更短。创建检查点需要 15 秒到 5.5 分钟,具体时间取决于模型和配置。
  • 移动 GPU 状态主导大型恢复:对于 8 – GPU MoE 配置而言,恢复 GPU 状态需要 18 到 29 秒。使用 CRIU 恢复 CPU 进程状态需要 4.2 到 10.8 秒。

图 2 至 4 比较了 vLLM、SGLang 和 TensorRT LLM 在测试模型和并行配置中的冷启动和快照恢复时间。表 1 提供了每种配置的数据,包括检查点时间和大小。所有时间都以秒为单位。在图和表格中, TEP8 表示跨 8 个 GPU 的张量和专家并行性。

模型 引擎 并行性 重量大小 (GB) 检查点大小 (GB) 检查点时间 冷启动 快照
智能体恢复
加速
Qwen3-0.6 B vLLM TP1 1.50 8.13 15.30 104.43 4.66 22.40 倍
Qwen3-0.6 B SGLang TP1 1.50 9.42 20.71 87.08 3.59 24.26 倍
Qwen3-0.6 B TRT-LLM TP1 1.50 8.04 20.07 121.26 8.15 14.88 倍
Qwen3-14B vLLM TP1 29.54 37.71 19.98 122.76 5.72 21.45 倍
Qwen3-14B vLLM TP2 29.54 48.29 38.37 139.63 6.19 22.55 倍
Qwen3-14B SGLang TP1 29.54 40.19 26.17 106.26 5.60 18.96 倍
Qwen3-14B SGLang TP2 29.54 51.93 33.88 124.72 7.45 16.75 倍
Qwen3-14B TRT-LLM TP1 29.54 36.38 23.72 127.02 12.50 10.16 倍
Qwen3-14B TRT-LLM TP2 29.54 47.97 42.90 158.66 15.99 9.92 倍
gpt-oss-120b vLLM TP1 65.25 81.56 44.37 172.80 10.09 17.12 倍
gpt-oss-120b vLLM TP4 65.25 119.69 133.01 155.66 11.62 13.40 倍
gpt-oss-120b SGLang TP1 65.25 172.32 55.63 268.96 15.94 16.87 倍
gpt-oss-120b SGLang TP4 65.25 693.89 174.20 240.17 29.64 8.10 倍
gpt-oss-120b TRT-LLM TP1 65.25 77.87 29.98 200.55 7.79 25.75 倍
gpt-oss-120b TRT-LLM TP4 65.25 111.34 85.29 223.96 18.58 12.05 倍
GLM-5.3-NVFP4 vLLM TEP8 464.82 604.00 282.80 393.65 28.64 13.74 倍
GLM-5.3-NVFP4 SGLang TEP8 464.82 669.49 327.20 426.70 35.34 12.07 倍
GLM-5.3-NVFP4 TRT-LLM TEP8 464.82 628.30 231.33 363.90 33.55 10.85 倍
DeepSeek-V4.1-Flash vLLM TEP8 510.30 647.18 274.75 1110.65 30.96 35.87 倍
DeepSeek-V4.1-Flash SGLang TEP8 510.30 743.35 286.77 953.09 36.54 26.08 x
DeepSeek-V4-Pro-NVFP4 vLLM TEP8 913.09 996.53 193.84 908.48 39.56 22.96 倍
DeepSeek-V4-Pro-NVFP4 SGLang TEP8 913.09 1039.09 253.72 621.55 42.69 14.56 倍
表 1. 冷启动,对比 1 到 8 个 GPU 上搭载 VAST (NFS) 存储设备的 NVIDIA B200 上的快照恢复。检查点时间是每个配置的一次性成本。加速是冷启动时间除以快照恢复时间

表 2 分解了冷启动时间,显示了还原跳过的初始化阶段。

模型 引擎 并行性 初创公司 模型负载 初始化 编译、自动调整和图形截取 总计
Qwen3-0.6 B vLLM TP1 31.37 17.27 14.58 41.21 104.43
Qwen3-0.6 B SGLang TP1 33.74 11.67 8.41 33.26 87.08
Qwen3-0.6 B TRT-LLM TP1 25.79 3.79 40.64 51.04 121.26
Qwen3-14B vLLM TP1 31.16 26.15 15.30 50.15 122.76
Qwen3-14B vLLM TP2 42.18 18.96 15.29 63.20 139.63
Qwen3-14B SGLang TP1 33.45 20.79 8.28 43.74 106.26
Qwen3-14B SGLang TP2 47.62 18.93 8.29 49.88 124.72
Qwen3-14B TRT-LLM TP1 25.35 11.54 39.36 50.77 127.02
Qwen3-14B TRT-LLM TP2 27.42 8.88 70.62 51.74 158.66
gpt-oss-120b vLLM TP1 35.15 38.69 10.49 88.47 172.80
gpt-oss-120b vLLM TP4 49.91 24.71 12.13 68.91 155.66
gpt-oss-120b SGLang TP1 42.54 34.44 0.36 191.62 268.96
gpt-oss-120b SGLang TP4 57.97 49.06 1.33 131.81 240.17
gpt-oss-120b TRT-LLM TP1 26.21 47.50 42.85 83.99 200.55
gpt-oss-120b TRT-LLM TP4 34.28 42.72 22.34 124.62 223.96
GLM-5.3-NVFP4 vLLM TEP8 65.47 65.88 48.88 213.42 393.65
GLM-5.3-NVFP4 SGLang TEP8 60.77 73.98 2.66 289.29 426.70
GLM-5.3-NVFP4 TRT-LLM TEP8 31.58 90.39 120.43 121.50 363.90
DeepSeek-V4.1-Flash vLLM TEP8 63.96 184.90 77.25 784.54 1110.65
DeepSeek-V4.1-Flash SGLang TEP8 56.18 74.21 38.50 784.20 953.09
DeepSeek-V4-Pro-NVFP4 vLLM TEP8 64.42 95.14 64.87 684.05 908.48
DeepSeek-V4-Pro-NVFP4 SGLang TEP8 58.80 87.68 42.55 432.52 621.55
表 2. 冷启动时间的推移,按阶段,以秒为单位。由于日志记录和仪器未捕获舍入或区间,因此相位计时可能与总计不同

表 3 将恢复时间分解为智能体设置、CRIU 恢复、CUDA 恢复和唤醒/ 重新映射。

模型 引擎 并行性 快照:智能体设置 快照:CRIU 恢复 快照:CUDA 恢复 快照:唤醒/ 重映射 总计
Qwen3-0.6 B vLLM TP1 2.30 1.36 0.78 0.22 4.66
Qwen3-0.6 B SGLang TP1 0.24 1.33 1.02 0.99 3.59
Qwen3-0.6 B TRT-LLM TP1 5.72 1.43 0.84 0.16 8.15
Qwen3-14B vLLM TP1 0.13 1.58 3.16 0.85 5.72
Qwen3-14B vLLM TP2 0.57 2.03 3.43 0.17 6.19
Qwen3-14B SGLang TP1 0.24 1.35 3.67 0.34 5.60
Qwen3-14B SGLang TP2 0.92 2.17 3.49 0.87 7.45
Qwen3-14B TRT-LLM TP1 6.80 2.70 2.82 0.18 12.50
Qwen3-14B TRT-LLM TP2 9.65 3.52 2.41 0.41 15.99
gpt-oss-120b vLLM TP1 0.48 2.60 6.71 0.30 10.09
gpt-oss-120b vLLM TP4 1.02 4.40 5.57 0.62 11.62
gpt-oss-120b SGLang TP1 0.26 1.69 13.46 0.54 15.94
gpt-oss-120b SGLang TP4 2.69 4.34 21.69 0.93 29.64
gpt-oss-120b TRT-LLM TP1 0.28 1.51 5.74 0.26 7.79
gpt-oss-120b TRT-LLM TP4 9.99 3.30 4.34 0.95 18.58
GLM-5.3-NVFP4 vLLM TEP8 3.79 4.18 20.61 0.06 28.64
GLM-5.3-NVFP4 SGLang TEP8 3.27 10.80 19.96 1.31 35.34
GLM-5.3-NVFP4 TRT-LLM TEP8 9.81 5.32 18.17 0.25 33.55
DeepSeek-V4.1-Flash vLLM TEP8 4.84 5.71 19.37 1.04 30.96
DeepSeek-V4.1-Flash SGLang TEP8 4.34 9.77 21.40 1.03 36.54
DeepSeek-V4-Pro-NVFP4 vLLM TEP8 5.44 4.73 28.98 0.42 39.56
DeepSeek-V4-Pro-NVFP4 SGLang TEP8 3.13 10.13 28.60 0.83 42.69
表 3. 快照恢复时间的位置,按阶段,以秒为单位。这四个阶段共同构成了表 1 中的“Snapshot” (快照) 列

图 5 显示了 vLLM 的恢复时间分解。

基准测试工具和再现说明可在资源库中找到。

开始使用

要在 Kubernetes 上使用 GPU 工作负载试用 Snapshot,请先参阅 NVIDIA Snapshot 资源库中的安装说明和使用指南。

您可以尝试使用 NVIDIA Dynamo,按照用户指南恢复工作节点。

要讨论集成或提供反馈,请提出问题或加入 NVIDIA Dynamo Slack 工作空间并访问#snapshot-dev 频道。

在 KubeCon 上参观 NVIDIA 170 号展位,了解 Kubernetes 的深入探讨和现场演示。

标签