1. [主页](/)
2. [查看所有手册](https://developer.nvidia.cn/build-spark)
3. 

在 DGX Spark 部署 LM Studio 

# 在 DGX Spark 部署 LM Studio 

在 Spark 设备上部署 LM Studio 并提供大语言模型服务；使用 LM Link 远程访问模型。

概述

操作指令

故障排除

## 基本理念

LM Studio 是一款完全在您自己的硬件上探索、运行和提供大语言模型的应用。您可以免费私密运行本地 LLM，如 Qwen3、DeepSeek 以及更多模型。  
  
本剧本介绍了如何在 NVIDIA DGX Spark 设备上部署 LM Studio，以便在本地运行具有 GPU 加速功能的 LLM。在 DGX Spark 上运行 LM Studio 可让 Spark 充当您自己的专用高性能 LLM 服务器。  
  
借助 LM Link (可选) ，您可以像在本地一样使用另一台机器上的 Spark 模型。您可以通过端到端加密连接连接 DGX Spark 和笔记本电脑 (或其他设备)，这样您就可以从笔记本电脑在 Spark 上加载和运行模型，而无需位于同一 LAN 或打开网络访问权限。请参阅 [LM Link](https://lmstudio.ai/link) 以及说明中的步骤 3b。

## 您将完成的任务

您将在 NVIDIA DGX Spark 设备上部署 LM Studio，以运行 Qwen3.6-35B-A3B (qwen/qwen3.6-35b-a3b)，然后使用笔记本电脑中的模型。更具体地说，您将：

- 

在 Spark 上安装完全无外设的终端原生 LM Studio llmster

- 

通过 API 在 DGX Spark 上本地运行 LLM 推理

- 

使用 LM Studio SDK 与笔记本电脑上的模型交互

- 

(可选) 使用 LM Link 通过加密链路连接 Spark 和笔记本电脑，以便远程模型显示为本地模型 (无需同一网络或绑定设置)

## 开始之前需要了解的内容

- 

[设置本地网络访问](https://developer.nvidia.cn/build-spark/connect-to-your-spark) DGX Spark 设备

- 

使用终端 / 命令行接口

- 

理解 REST API 概念

## 预备知识

硬件要求：

- 

采用 ARM64 处理器和 Blackwell GPU 架构的 DGX Spark 设备

- 

最低 65GB GPU 显存，建议 70GB 或以上

- 

至少 65GB 可用存储空间，建议 70GB 或以上

软件要求：

- 

NVIDIA DGX 操作系统

- 

客户端设备 (Mac、Windows 或 Linux)

- 

笔记本电脑和 DGX Spark 必须位于同一本地网络上

- 

网络访问软件包和模型下载

## 模型支持矩阵

要探索 LM Studio 中所有支持的模型，请查看LM Studio 模型目录页面。

| Model | Support Status | Model Path |
| --- | --- | --- |
| Qwen3.6-35B-A3B | ✅ | qwen/qwen3.6-35b-a3b |

## LM Link (可选)

LM Link 让您可以远程使用本地模型。您关联机器 (例如：您的 DGX Spark 和笔记本电脑)，然后在 Spark 上加载模型，并从笔记本电脑中使用这些模型，就像在本地一样。

- 

端到端加密 – 基于 Tailscale 网格 VPN 构建；设备不会公开到公共互联网。

- 

与本地服务器配合使用 – 连接到 LM Studio 本地 API 的任何工具 (例如 localhost:1234) 可以使用 Link 中的模型，包括 OpenCode 和 LM Studio SDK。

- 

预览 – 免费提供给最多 2 位用户，每台 5 台设备 (共 10 台设备)。创建您的链接：lmstudio.ai/link。

如果您使用 LM Link，则可以跳过将服务器绑定到 0.0.0.0 并使用 Spark 的 IP；连接设备后，请将笔记本电脑指向 localhost:1234 远程模型会显示在模型加载程序中。

## 辅助文件

您可以在下方找到所有必需素材。这些示例脚本可在说明的步骤 7 中使用。

- 

[run.js](https://github.com/lmstudio-ai/docs/blob/main/_assets/nvidia-spark-playbook/js/run.js) - 用于向 Spark 发送测试提示的 JavaScript 脚本

- 

[run.py](https://github.com/lmstudio-ai/docs/blob/main/_assets/nvidia-spark-playbook/py/run.py) - 用于向 Spark 发送测试提示的 Python 脚本

- 

[run.sh](https://github.com/lmstudio-ai/docs/blob/main/_assets/nvidia-spark-playbook/bash/run.sh) - 用于向 Spark 发送测试提示的 Bash 脚本

## 时间和风险

- 

**预计时间** ：15-30 分钟 (包括模型下载时间，具体时间可能会因互联网连接和模型大小而异)

- 

**风险级别** ：低

  - 

大型模型下载可能需要大量时间，具体取决于网络速度

- 

**回滚** ：

  - 

可以手动从模型目录中删除已下载的模型。

  - 

卸载 LM Studio 或 llmster

- 

**上次更新时间** ：2026 年 4 月 28 日

  - 

以 Qwen3.6-35B-A3B 为例

## 第 1 步：在 DGX Spark 上安装 llmster

llmster 是 LM Studio 的终端原生无外设 LM Studio 的“守护程序”。  
  
您可以将其安装在服务器、云实例、没有 GUI 的机器上，也可以只安装在您的计算机上。这对于在 DGX Spark 上以无外设模式运行 LM Studio，然后通过 API 从笔记本电脑连接到 LM Studio 非常有用。  
  
在 Spark 上，运行以下命令安装 llmster：

    curl -fsSL https://lmstudio.ai/install.sh | bash

对于 Windows：

    irm https://lmstudio.ai/install.ps1 | iex

安装后，按照终端输出中的说明添加 lms 路径。使用 lms CLI 或 SDK/ LM Studio V1 REST API [增强功能](https://lmstudio.ai/docs/developer/rest)) / 兼容 OpenAI 的 REST API。

## 第 2 步：下载所需的辅助文件

在本地终端中运行以下 curl 命令，以下载完成此剧本中后续步骤所需的文件。您可以从 Python、JavaScript 或 Bash 中进行选择。

    # JavaScript curl -L -O https://raw.githubusercontent.com/lmstudio-ai/docs/main/\_assets/nvidia-spark-playbook/js/run.js # Python curl -L -O https://raw.githubusercontent.com/lmstudio-ai/docs/main/\_assets/nvidia-spark-playbook/py/run.py # Bash curl -L -O https://raw.githubusercontent.com/lmstudio-ai/docs/main/\_assets/nvidia-spark-playbook/bash/run.sh

## 第 3 步：启动 LM Studio API 服务器

使用 lms LM Studio 的 CLI，用于从终端启动服务器。启用本地网络访问，允许同一本地网络上的所有其他设备访问您机器上运行的 LM Studio API 服务器 (确保它们是可信设备)。为此，请运行以下命令：

    lms server start --bind 0.0.0.0 --port 1234

要测试笔记本电脑和 Spark 之间的连接，请在本地终端中运行以下命令

    curl http://\<SPARK\_IP\>:1234/api/v1/models

其中 是设备的 IP 地址。您可以通过在 Spark 上运行以下命令来查找 Spark 的 IP 地址：

    hostname -I

## 第 4 步：(可选) 使用 LM Link 连接

借助 LM Link，您可以通过端到端加密连接在笔记本电脑 (或其他设备) 上使用 Spark 模型，就像在本地一样。您无需位于同一本地网络或将服务器绑定到 0.0.0.0。

1. 

创建链接 – 前往 [lmstudio.ai/link](https://lmstudio.ai/link) 然后按照 Create your Link 设置您的专用 LM Link 网络。

2. 

连接这两款设备 – 在 DGX Spark (llmster) 和笔记本电脑上，登录并加入同一链接。LM Link 使用 Tailscale 网格 VPN；设备无需打开互联网端口即可进行通信。

3. 

使用远程模型 – 在笔记本电脑上打开 LM Studio (或使用本地服务器)。Spark 中的远程模型显示在模型加载程序中。连接到 localhost:1234 包括 LM Studio SDK、OpenCode 和第 7 步中的脚本在内，可以在不更改端点的情况下使用这些模型。

LM Link 处于预览版中，最多 2 位用户可免费使用，每位用户可使用 5 台设备。有关详细信息和限制，请参阅 [LM Link](https://lmstudio.ai/link)。

## 第 5 步：将模型下载到 Spark

例如，从 LM Studio 目录下载 Qwen3.6-35B-A3B (qwen/qwen3.6-35b-a3b) 因此您可以在具有大量统一内存的 Spark 上运行它。

    lms get qwen/qwen3.6-35b-a3b

由于体积较大，此下载需要一段时间。列出您的模型，以验证模型是否已成功下载：

    lms ls

## 第 6 步：加载模型

在 Spark 上加载模型，以便其响应笔记本电脑的请求。

    lms load qwen/qwen3.6-35b-a3b

## 第 7 步：在笔记本电脑上设置使用 LM Studio SDK 的简单程序

安装 LM Studio SDK，并使用简单的脚本向 Spark 发送提示并验证响应。为快速入门，我们在下方提供了适用于 Python、JavaScript 和 Bash 的简单脚本。从本剧本的“Overview” (概述) 页面下载脚本，并从包含脚本的目录中运行相应命令。

**注意：**

这将删除下载的模型文件。

# JavaScript

前置请求：用户已安装 npm 以及 node

    npm install @lmstudio/sdk node run.js

# Python

前置要求：用户已安装 uv

    uv run --script run.py

# Bash

前置请求：用户已安装 jq 以及 curl

    bash run.sh

## 第 8 步：后续步骤

- 

尝试下载和提供不同型号 [LM Studio 模型目录](https://lmstudio.ai/models)。

- 

使用 [LM Link](https://lmstudio.ai/link) 通过端到端加密，连接更多设备，并随时随地使用 Spark 模型。

## 第 9 步：清理和回滚

如有需要，请删除并完全卸载 LM Studio。请注意，LM Studio 会将模型与应用程序分开存储。除非您明确删除已下载的模型，否则卸载 LM Studio 不会删除这些模型。  
  
如果您想删除整个 LM Studio 应用，请先退出托盘中的 LM Studio，然后将应用移至垃圾桶。  
  
要卸载 llmster，请删除文件夹 ~/.lmstudio/llmster。  
  
要删除已下载的模型，请删除 ~/.lmstudio/models/。

| 症状 | 原因 | 修复 |
| --- | --- | --- |
| API 返回“未找到模型”错误 | 未在 LM Studio 中下载或加载模型 | 运行 lms ls 验证下载状态，然后使用 lms load {model-name} |
| lms 未找到命令 | PATH 问题 (假设成功安装) | 运行以下命令刷新 shell source ~/.bashrc |
| 模型加载失败 – CUDA 显存不足 | 模型过大，无法容纳可用的 VRAM | 切换到较小的模型或不同的量化 |
| LM Link：设备未连接或远程模型不可见 | 设备不在同一 Link 中，或未在两者上设置 LM Link | 请确保 Spark 和笔记本电脑都已登录并加入同一链接lmstudio.ai/link。加入后，请重启 LM Studio/llmster。请参阅LM Link了解其工作原理。 |

**注意**

DGX Spark 采用统一内存架构 (UMA) ，可在 GPU 和 CPU 之间实现动态内存共享。 由于许多应用程序仍在更新以利用 UMA，您可能会遇到内存问题，即使在 DGX Spark 的内存容量。如果发生这种情况，请使用以下命令手动刷新缓冲区缓存：

    sudo sh -c 'sync; echo 3 \> /proc/sys/vm/drop\_caches'

有关最新的已知问题，请查看 [DGX Spark 用户指南](https://docs.nvidia.com/dgx/dgx-spark/known-issues.html)。