只需几个命令即可运行用于边缘应用开发的 AI 模型

AI 正在扩展到数据中心之外，因为开发者构建了在边缘发挥作用的新一代 智能体：监控驾驶员注意力和座舱状况，帮助机器人了解周围环境并规划任务，以及协调生产线上的机器车队。这些 物理 AI 应用 依赖于在严格的内存、功率和延迟预算内进行感知、推理和行动的模型。但是，准备好运行模型可能涉及大量设置。

NVIDIA DGX Spark 现提供 64GB 配置，为嵌入式开发者提供了一个平台，用于对模型和智能体进行原型设计、微调和测试。NVIDIA TensorRT Edge-LLM 提供专为嵌入式工作负载设计的轻量级 C++ 推理运行时，将相同的推理框架引入 Spark 上的开发以及NVIDIA Jetson Thor、NVIDIA DRIVE AGX Thor 和NVIDIA IGX Thor 等平台上的部署。

您只需使用 trtedge 命令行界面 (CLI) 中的几个命令即可开始使用。它会下载您选择的模型，并在 Spark 上构建针对推理优化的 TensorRT 引擎。

在本教程中，您将使用 NVIDIA Nemotron-3.5 Lightning (一种纯文本模型) 在 Spark 上运行 TensorRT Edge-LLM。您将在终端中测试提示词，并通过 API 提供模型以进行应用原型设计。您还将启用 DSpark 预测性解码，以加速生成。

预备知识：设置开发环境

要开始使用，您需要配备受支持的 NVIDIA 软件堆栈、NVIDIA CUDA 13、10.x 系列中的 TensorRT 10.16.1.11 或更高版本以及 Python 3.10 至 3.12 的 DGX Spark。以下示例使用 TensorRT Edge-LLM 0.11.1 和 TensorRT 10.16.1.11 进行了测试。

在 DGX Spark 上打开终端，创建并激活虚拟环境，然后安装 TensorRT Edge-LLM：

python3 -m venv --system-site-packages .venv-edgellm
source .venv-edgellm/bin/activate
python -m pip install --upgrade pip
python -m pip install "tensorrt-edgellm[server]==0.11.1"

注意：虚拟环境会将新安装的软件包分开，同时允许访问所有系统 Python 软件包，包括 TensorRT。

检查 TensorRT 版本并确认 TensorRT Edge-LLM 运行时加载：

python -c "import tensorrt as trt; v = tuple(map(int, trt.__version__.split('.'))); assert (10, 16, 1, 11) <= v < (11,), f'TensorRT >=10.16.1.11 and <11 required; found {trt.__version__}'; from tensorrt_edgellm import runtime; runtime.load()"

注意：如果兼容的系统 TensorRT 绑定不可用，请按照 NVIDIA TensorRT pip 安装说明 在激活的环境中安装兼容的 TensorRT 10.x 版本，然后重新运行验证命令。

由于虚拟环境仍然处于活动状态，请与 Nemotron-3.5 Lightning 开始聊天：

trtedge chat nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

首次启动时，请等待模型下载 (约 21GB) 和引擎构建完成。默认情况下，文件存储在 ~/.cache/tensorrt-edgellm 中，因此为模型和引擎留出空间。稍后，我们将推出重用匹配的缓存引擎。

出现聊天提示后，输入：

Convert 25°C to Fahrenheit. Answer in one sentence.

响应示例：

25°C is equal to 77°F.

继续对话并回答后续问题，或输入 /exit 以结束会话。

服务您的模型

通过 Spark 上与 OpenAI 兼容的本地 API 为您的模型提供服务，以进行应用开发和测试。

启用虚拟环境后，启动服务器：

trtedge serve nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 \
  --host 127.0.0.1 \
  --port 8000

服务器会为此配置构建或重用引擎。启动完成后，在 DGX Spark 上打开第二个终端并检查其是否准备就绪：

curl -fsS http://127.0.0.1:8000/health/ready 

包含 "status":"ready" 的响应确认服务器已准备就绪。将您的第一个提示发送到聊天 completions 端点：

curl -fsS -N http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
  "model": "nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4",
  "messages": [
    {
      "role": "user",
      "content": "Convert 25°C to Fahrenheit. Answer in one sentence."
    }
  ],
  "stream": true,
  "temperature": 0,
  "max_tokens": 128
}'

响应以 JSON 事件的形式进行流式传输。保持服务器运行以处理更多请求，或在服务器终端按 Ctrl+ C 将其停止。

可选：启用预测解码

您可以使用 DSpark 预测解码加快生成速度，该解码会使用草稿模型为主模型提供多个 token，以便在单遍中验证。要使用三个草稿token启用该功能，请在服务器终端中按 Ctrl+C，然后在启用 DSpark 的情况下重新启动服务器：

trtedge serve nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 \
  --host 127.0.0.1 \
  --port 8000 \
  --speculative-config '{
    "method": "dspark",   
    "model": "nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DSpark",
    "num_speculative_tokens": 3
  }'

服务器准备就绪后，向聊天 completions 端点发送另一个提示，以尝试启用 DSpark 生成。

您可以尝试使用 num_speculative_tokens 和其他设置来调整工作负载的生成速度。如需了解详情，请参阅预测解码文档。

DGX Spark 64GB 的性能

TensorRT Edge-LLM 在 DGX Spark 64GB 上利用 NVIDIA Nemotron-3.5 Lightning 实现低响应延迟和快速 token 生成。

下表报告了使用和不使用 DSpark 预测解码时的第一个 token (TTFT) 时间和生成速度。

生成速度是指每个请求的平均 token 生成速率，不包括生成第一个 token 所需的时间。DSpark 使用三种草稿token。在使用 DSpark 进行推理时，系统总内存使用量峰值为 27.9 GB (包括操作系统) 。

在运行 DGX OS 7.6.0 (Ubuntu 24.04.4 LTS) 的 DGX Spark 64GB 上测量，使用 NVFP4 进行思考，批量大小为 1，并发串流请求为 1，输出限制为 128-token。SpeedBench 1K 的平均输入长度为 1153 个token，SpeedBench 2K 为 2247 个token，HumanEval 为 139 个token。

后续步骤

从受支持的模型列表中试用其他模型，然后继续在 Spark 上开发您的应用。选项包括解释图像和视频的视觉语言模型，以及语音识别和文本转语音模型。

探索 TensorRT Edge-LLM 文档，了解目标嵌入式平台上的模型特定工作流和要求。

请访问 Nemotron 开发者页面，获取入门资源。在 Hugging Face 和 Blueprints 上探索开放的 Nemotron 模型和数据集，更多内容请访问 build.nvidia.com。