AI 改变了组织的运营方式，推动了前所未有的生产力和创新水平。但是，数据隐私、主权以及如何保护使用中的数据，或在 AI 模型推理和交互过程中的数据，可能会阻碍 AI 的采用。NVIDIA 机密计算 (CC) 旨在为代理式 AI 时代提供安全、高性能的解决方案，以安全地扩展任何模型。
CC 可在主动推理期间保护企业数据和专有模型权重以及模型本身。在本文中，我们将概述 CC 并演示基准测试，其中显示其推理性能与不启用 CC 安全性的解决方案几乎相同 (高达 98%) 。
数据、代码和模型完整性
CC 提供涵盖芯片、互连和系统软件的安全层。其工作原理如下：
图 1. 机密计算提供数据和代码的完整性和机密性硬件信任根
NVIDIA Blackwell GPU (包括 NVIDIA RTX PRO 6000、HGX B200 和 HGX B300) 采用嵌入式 CC 设计。HGX B200 和 HGX B300 GPU 采用 NVIDIA NVLink 加密技术，支持跨多个 GPU (多达 8 个) 进行机密计算。在芯片层面，GPU 会维护私有签名密钥，该密钥在制造时融合在一起，永远不会暴露于软件、固件或主机系统。这是认证链的基础。
认证：执行前验证
在机密工作负载收到任何机密之前，它会接受远程认证。NVIDIA 远程认证服务 (NRAS) 会根据已知良好的参考完整性清单 (RIM) 验证签名的证据包，即 GPU 的硬件报告与 CPU TEE 测量结果 ( AMD SEV-SNP 或 Intel TDX) 的组合。
在机密 VM (CVM) 处于未经修改的验证状态后，可以将机密 (例如模型解密密钥) 部署到 CVM 中。认证握手通常是一次性的初创公司活动。工作负载运行后，认证不会增加单个推理请求的延迟。
图 2. 认证服务远程验证可信执行环境的身份、配置和完整性，并发布加密证明
优化机密计算中的 AI 推理性能
Blackwell GPU 上 AI 推理性能的 CC 变化可能来自两个方面：
- 安全工作提交延迟： 对于推理而言，安全工作提交延迟通常是更大的因素，而且由于加密和核函数启动会增加开销，较小的工作单位会受到更大的影响。增加每次 GPU 工作启动所执行的工作量，可减少安全启动用度的影响。
- 主机到设备的 CPU 到 GPU 带宽减少： 如果工作负载严重依赖向 GPU 传输输入，则性能将取决于充分利用 GPU 所需的带宽是否超过 CC 模式下可用的加密传输带宽。
以下创新技术通过 CC 优化了推理性能：
- CC 安全自动调谐器计时： FlashInfer 可将 CC 模式下的事件计时器替换为 GPU 全局计时器寄存器，使自动调谐器能够准确比较候选内核，并为每个形状选择最快的实现方式。
- 异步 D2H 复制工作器： SGLang 从调度程序的关键路径中移除每步标记读回。这有助于恢复计算/ 复制重叠，因为在 cudaMemcpyAsync 期间，CC 可以使许多主机到设备和设备到主机的副本实现有效同步。
- 分段 CUDA 计算图支持： SGLang 为预填充和混合批量添加了 CUDA 计算图回放，减少了在 CC 模式下放大的内核启动用度。
NVIDIA 继续与上游社区合作开发推理框架，以确保这些框架针对性能进行优化。
我们跨不同的关键指标测量了 CC 的推理性能。下面是测试设置和测量的详细信息。
基准测试结果
在经过测试的所有工作负载配置中，启用 CC 模式后，稳定状态推理期间的吞吐量和每个输出 token 的用度都非常低。
下表总结了型号 Qwen/ Qwen3.5-397B-A17B-FP8 的 Blackwell Ultra (HGX B300) 上的 CC 吞吐量、TTFT、TPOT 开销
机密计算的相对性能
| 并发 | ISL/ OSL = 1024/ 1024 | ISL/ OSL = 8192/ 1024 | ||
| 吞吐量/ GPU ( tok/s) | TPOT 中值 (毫秒) | 吞吐量/ GPU ( tok/s) | TPOT 中值 (毫秒) | |
| %% 与关闭 | %% 与关闭 | %% 与关闭 | %% 与关闭 | |
| 4 | -2.0% | -1.6% | -3.5% | -3.6% |
| 8 | -2.6% | -2.4% | -2.8% | -2.9% |
| 16 | -5.3% | -4.9% | -2.8% | -3.0% |
| 32 | -6.3% | -7.8% | -1.0% | -0.9% |
| 64 | -6.2% | -6.8% | -2.3% | -2.4% |
| 128 | -7.5% | -8.1% | -3.5% | -3.5% |
| 256 | -4.6% | -4.1% | -3.6% | -3.7% |
测试设置
基准测试：FP8 精度下的 Qwen 3.5 397B-A17B 模型
环境：GPU 直通虚拟机
基准：关闭机密计算
实验：使用机密计算
所有其他变量保持不变。
硬件配置
配备 Blackwell Ultra 的 HGX B300。
软件堆栈
| 组件 | 版本/ 详情 |
| 平台 | 英特尔 TDX |
| 主机操作系统 | Ubuntu 25.10 |
| 主机内核 | 6.17.0-20 通用 |
| 客户机操作系统 | Ubuntu 24.04.4 LTS |
| 客户机内核 | 6.8.0-124 通用 |
| 客户机 vCPU | 256 |
| 用户 NUMA | 2 个节点 |
| NVIDIA 驱动 | 595.71.05 |
| VBIOS | FW 1.4.x[97.10.64.00.0C] |
| GPU 功率限制 | 1100.00 |
| CUDA | 13.2 |
| SGlang | docker.io/lmsysorg/sglang:v0.5.12-cu130PR：28251 (SGLang) 和 3638 (FlashInfer) |
| NCCL | v2.28.9-1 |
| OpenSSL | 3.6.0 |
| 编排 | Docker 容器 NVIDIA 容器工具包 |
注意：请遵循本文档中所述的 CPU 功耗和 vCPU 固定配置。
工作负载参数
每个配置都在代表真实企业推理工作负载的一系列条件下进行了测试：
输入/输出令牌长度：8192/1024、1024/1024
批量大小：4、8、16、32、64、128 和 256 个并发请求。
推理框架 (模式) ：SGLang (服务器)
基准：不使用 -enable-symm-mem
收集的指标
每个 GPU 的输出吞吐量 (令牌/ 秒/gpu)
到第一个令牌的中位时间 (TTFT) — 从请求提交到生成第一个令牌的延迟，单位：毫秒
每个输出令牌的中位时间 (TPOT) — 稳定状态流中的每个令牌生成延迟，单位：毫秒
前进之路
硬件级安全性与 CC 相结合，可保护敏感的 AI 工作负载，同时保持生产级 AI 工作负载所需的性能。
CC 为生产推理工作负载提供了更强大的安全基础，同时尽可能降低了性能开销。在使用基于 SGLang 的 Qwen 3.5 进行评估时，我们在并发级别、输入序列长度和输出序列长度等方面进行了观察，证明了组织可以保护其 AI 工作负载和数据，并在不影响性能的情况下遵守法规。
通过访问以下资源，与 NVIDIA 和我们的合作伙伴一起，通过 Blackwell 上的 CC 保护您的 AI 工作负载。
资源
NVIDIA 机密计算文档
NVIDIA Blackwell 架构白皮书
NVIDIA GPU Operator 和 Container Toolkit
NVIDIA 远程认证服务 (NRAS)
NIST SP 800-207 零信任架构
HIPAA 安全规则 (HHS)
GDPR 第 32 条 – 处理安全性
