借助 OpenShell 在 DGX Spark 上安全托管长时运行的 AI 智能体

第 1 步 – 确认您的环境

在安装任何软件之前，请确认操作系统、GPU、Docker 和 Python 都已安装。

head -n 2 /etc/os-release
nvidia-smi
docker info --format '{{.ServerVersion}}'
python3 --version

确保 NVIDIA Sync 配置了自定义端口：名称使用 “OpenClaw”，端口使用“18789”。
预期输出应显示 Ubuntu 24.04 (DGX OS)、检测到的 GPU、Docker 服务器版本和 Python 3.12+。

第 2 步 – Docker 配置

请按以下步骤完成提示项：

docker ps

如果收到权限被拒绝的错误（尝试连接到 unix:///var/run/docker.sock 的 Docker API 时，权限被拒绝。），将您的用户添加到系统的 Docker 用户组。这将使您能够运行 Docker 命令而无需 sudo 执行此操作的命令如下：

sudo usermod -aG docker $USER
newgrp docker

请注意，将用户添加到组后，您应该重启 Spark，以使此更改在所有终端会话中持久生效。
现在我们已经验证了用户的 Docker 权限，接下来必须配置 Docker，使其能够使用 NVIDIA 容器运行时。

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

运行示例工作负载以验证设置

docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

第 3 步 - 安装 OpenShell 命令行界面

创建虚拟环境并安装 openshell 命令行界面 (CLI)。

cd ~
uv venv openshell-env && source openshell-env/bin/activate
uv pip install openshell 
openshell --help

如果您没有安装 uv 环境：

curl -LsSf https://astral.sh/uv/install.sh | sh
export PATH="$HOME/.local/bin:$PATH"

预期输出应显示 openshell 带有子命令的命令树，例如 gateway, sandbox, provider 和 inference。

第 4 步 - 在 DGX Spark 上部署 OpenShell 网关

网关是管理沙盒的控制平面。由于您直接在 Spark 上运行，它会在本地 Docker 容器中部署。

openshell gateway start
openshell status

第 5 步 - 安装 Ollama 并拉取模型

安装 Ollama（如果尚未安装）并下载用于本地推理的模型。

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

DGX Spark 的 128GB 内存可以运行大型模型：

请确认 Ollama 是否正在运行（安装后会自动作为服务启动）。如果未运行，请手动启动：

ollama serve &

把 Ollama 配置为监听所有接口，这样 OpenShell 网关容器才能访问它。创建一个 systemd 的覆盖配置：

mkdir -p /etc/systemd/system/ollama.service.d/
sudo nano /etc/systemd/system/ollama.service.d/override.conf

把下面代码写入文件中（如果文件不存在，新建一个）：

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

保存并退出文件编辑，并重启 Ollama ：

sudo systemctl daemon-reload
sudo systemctl restart ollama

确认 Ollama 正在监听所有端口：

ss -tlnp | grep 11434

您应该从输出中看到 “*:11434” ；如果输出中仅包含 “127.0.0.1:11434” 请检查在执行 systemctl daemon-reload 并重启服务前创建的覆盖配置的内容
接下来，运行 Ollama 中的模型（从 Ollama 模型库中调整模型名称以匹配您的选择）。 指令 ollama run 如果模型尚未存在，该命令会自动拉取模型。在此处运行模型可确保在使用 OpenClaw 时模型已加载并准备就绪，从而降低后续超时的可能性。例如 Qwen3.5-35B-A3B ：

ollama pull qwen3.5:35b-a3b
ollama run qwen3.5:35b-a3b

确认模型是否可用：

ollama list

第 6 步 - 创建推理提供程序

我们将创建一个指向本地 Ollama 服务器的 OpenShell Provider 。这样，OpenShell 就可以将推理请求路由到托管在 Spark 上的模型。要为集群创建提供程序，请替换 {Machine_IP} 为您的 DGX Spark 的 IP 地址。

openshell provider create \
  --name local-ollama \
  --type openai \
  --credential OPENAI_API_KEY=not-needed \
  --config OPENAI_BASE_URL=http://{Machine_IP}:11434/v1

第 7 步 - 配置推理路由

将 host.docker.internal endpoint 指向 Ollama 中的模型（在每个沙盒中都可用）：

openshell inference set \
  --provider local-ollama \
  --model qwen3.5:35b-a3b

请验证配置：

openshell inference get

预期输出应显示 “Provider: local-ollama” 和 “Model: qwen3.5:35b-a3b” （或者您选择的其他模型）。

第 8 步 - 部署 OpenShell 沙盒

使用预构建的 OpenClaw 社区沙盒创建沙盒。这将从 OpenShell 社区目录中拉取 OpenClaw Dockerfile、默认配置和初始化脚本：

openshell sandbox create \
  --keep \
  --forward 18789 \
  --name dgx-demo \
  --from openclaw \
  -- openclaw-start

参数 --keep 会在初始进程退出后保持沙盒运行，以便您稍后重新连接。这是默认设置。要在初始进程退出时终止沙盒，请使用参数：--no-keep 。

CLI 将执行以下操作：

1. 将 openclaw 与社区目录进行对照解析
   

2. 拉取并构建容器镜像
   

3. 应用捆绑沙盒策略
   

4. 在沙盒内启动 OpenClaw
   

要验证沙盒中启用的默认策略，请运行以下命令：

openshell sandbox get <sandbox_name>

第 9 步 - 在 OpenShell 沙盒中配置 OpenClaw

沙盒容器将启动，您将在引导下完成 OpenClaw 安装过程。请按照以下提示操作。

使用方向键和回车键与安装程序进行交互。

• 如果您理解并同意，请使用键盘上的箭头键选择“是”，然后按 Enter 键。
  

• Quickstart vs Manual ：选择 Quickstart ，然后按 Enter 键。
  

• Model/auth Provider ：选择 Custom Provider ，为倒数第二个选项。
  

• How do you want to provide this API key? ：请粘贴 API 密钥。
  

• API key ：请输入“ ollama ”。
  

• Endpoint compatibility ：选择 OpenAI-compatible 然后按 Enter 键。
  

• Model ID ：qwen3.5:35b-a3b

  • 由于 Ollama 模型需要在后台启动，这可能需要 1-2 分钟。
    

• Endpoint ID ：保留默认值。
  

• Alias ：gpt-oss:120b（这一步是可选项）。
  

• Channel ：选择 Skip for now 。
  

• Search provider ：选择 Skip for now 。
  

• Skills ：选择 No 。
  

• Enable hooks ：选择 Skip for now ，然后按 Enter 键。
  

完成最后几个步骤可能需要 1-2 分钟。之后，您应该会看到一个包含 token 的 URL，您可以使用该 token 连接到网关。

预期输出结果应与以下内容类似，具体 token 是不同的。

OpenClaw gateway starting in background.
  Logs: /tmp/gateway.log
  UI:   http://127.0.0.1:18789/?token=9b4c9a9c9f6905131327ce55b6d044bd53e0ec423dd6189e

如果您使用 Spark 作为主要设备，请在 UI 部分右键单击 URL，然后选择“打开链接”。
**第一次在网页端打开 Dashboard 会出现 “Gateway Token Mismatch” 或类似 Token 报错，可在 Dashboard-> Overview -> Gateway Token 中手动填入之前获得的 Token ，Refresh 后可解决问题。**从主机或远程系统访问 Dashboard：** Dashboard URL（例如： http://127.0.0.1:18789/?token=... 由于该服务器位于沙盒内，因此主机默认情况下不会转发 18789 端口。要从您的主机或其他机器访问它，请使用 SSH 本地端口转发。从可以访问 OpenShell 网关的机器上运行以下命令（将 gateway URL, sandbox-id, token 和 gateway-name 替换为您环境中的值）：

ssh -o ProxyCommand='/usr/local/bin/openshell ssh-proxy --gateway https://127.0.0.1:8080/connect/ssh --sandbox-id <sandbox-id> --token <token> --gateway-name openshell' -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o LogLevel=ERROR -N -L 18789:127.0.0.1:18789 sandbox

然后在本地浏览器中打开 http://127.0.0.1:18789/?token=

如果您使用的是 NVIDIA Sync ，请右键单击用户界面中列出的 URL，然后选择“复制链接”。接下来，连接到您的 Spark 并选择 OpenClaw 条目。当您的 Web 浏览器打开 OpenClaw 标签页时，将 URL 粘贴到导航栏中，然后按 Enter 键。

在这个页面中，您现在可以在 OpenShell 所提供的受保护运行环境内，与自己的 OpenClaw 智能体进行对话。

第 10 步 - 在沙盒中进行推理

连接到沙盒（终端）

现在 OpenClaw 已在 OpenShell 受保护的运行时环境中配置完成，您可以通过以下方式直接连接到沙盒环境：

openshell sandbox connect dgx-demo

将 Ollama 模型加载到沙盒终端后，您可以使用以下命令测试与 Ollama 模型的连接：

curl https://inference.local/v1/responses \
          -H "Content-Type: application/json" \
          -d '{
        "instructions": "You are a helpful assistant.",
        "input": "Hello!"
      }'

第 11 步 - 验证沙盒隔离

打开第二个终端，检查沙盒状态和实时日志：

source ~/openshell-env/bin/activate
openshell term

终端 Dashboard 显示：

• 沙盒状态 — name, phase, image, providers 和 port forwards
  

• 实时日志流 — 出站连接、决策（允许，否定，检查推理），以及推理拦截
  

验证 OpenClaw 智能体是否对于模型请求可以访问 inference.local ，未经授权的操作将被禁止。

第 12 步 - 重新连接到沙盒

如果您退出了沙盒会话，可以随时重新连接：

openshell sandbox connect

导入或导出文件（替换 为您创建输出的沙盒名称或从 openshell sandbox list 中得到的沙盒名称）：

openshell sandbox upload <sandbox-name> ./local-file /sandbox/destination
openshell sandbox download <sandbox-name> /sandbox/file ./local-destination

第 13 步 - 清理

停止并移除沙盒：

openshell sandbox delete <sandbox-name>

停止网关（保留状态以供后续使用）：

openshell gateway stop

openshell gateway destroy

同时移除 Ollama 模型：

ollama rm qwen3.5:35b-a3b

第 14 步 - 后续步骤

• 添加更多提供商：将 GitHub Tokens 、GitLab Tokens 或 Cloud API keys 作为提供程序附加： openshell provider create 。当创建沙盒时，请使用参数 --provider （例如： --provider my-github ）安全地将这些凭证注入沙盒。
  

• 尝试其他社区沙盒：运行 openshell sandbox create --from base 或者 ——from sdg 适用于其他预构建环境。
  

• 连接 VS Code ：使用 openshell sandbox ssh-config 并将输出附加到 ~/.ssh/config 可以将 VS Code Remote-SSH 直接连接到沙盒。
  

• 监控和审计： 使用 openshell logs --tail 或者 openshell term 持续监控智能体活动和政策决策。
  

sudo sh -c 'sync; echo 3 > /proc/sys/vm/drop_caches'

有关最新已知问题，请查看 DGX Spark 用户指南。