随着 GPU 集群的扩展，各种操作涵盖计算、网络、硬件和调度。站点可靠性工程师 (SRE) 通常必须检查多个控制面板，才能找出训练性能下降的原因。如果 AI 智能体团队可以通过一个界面执行这种关联，会怎样？
NVIDIA 开发了 AI Factory Operations Agent，以简化其内部 NVIDIA DGX SuperPOD 操作，并减少 NVIDIA SRE 的手动工作。子智能体通过任何组织均可采用的模型上下文协议 (MCP) 进行通信，以更大限度地提高 AI 工厂的正常运行时间和性能。
AI Factory Operations Agent 不需要 SRE 分别检查 AI 工厂软件和硬件的每一层，而是针对不同的运营领域使用专门的智能体。在生产环境中，这些智能体可以检测故障，跨层关联根本原因，并通过聊天界面提供清晰的建议。SRE 可以使用自然语言与任何智能体交互，在调查之间切换，并跟踪每个操作以实现可审计性。
本博客将分享所学内容，并教您如何在自己的工作流中实施 AI Factory Operations Agent。
架构：使用 NVIDIA blueprint和开放模型
AI 工厂运营智能体开发者示例围绕 NVIDIA NemoClaw blueprint构建。中心是面向用户的智能体运行时，它通过聊天界面接收 SRE 查询，并调用相应的域智能体和工具。
智能体通过 OpenClaw 插件和 MCP 服务器连接到基础设施，每个 MCP 都会公开一组经过批准的重点操作工具。您可以使用内置的 Web UI，也可以通过 API 集成现有的编码代理接口。这种模块化设计允许您添加新的智能体和基础设施集成，而无需更改现有的智能体。
该框架使用 NVIDIA OpenShell 构建，完全支持本地部署，支持可扩展性和数据所有权。代理推理使用本地提供的 NVIDIA Nemotron 开放模型，而该框架在内部 NVIDIA DGX H100、NVIDIA DGX B200 和 NVIDIA DGX GB300 生产集群中运行。请参阅下一节，了解 OpenShell 如何提供智能体治理和控制，以便智能体安全运行。
NVIDIA 如何构建
AI 工厂运营智能体作为 Kubernetes 控制平面应用运行。Helm 将 UI、OpenClaw 网关、MCP 工具服务器、推理端点和 NVIDIA OpenShell 运行时部署为 Kubernetes 服务。聊天 UI 会将每个请求发送到 NemoClaw，然后再将其路由到相应的域代理。
对于 shell 执行，OpenShell 会按会话创建 Kubernetes 沙盒，而不是在主网关 Pod 中运行命令。运行时接收 AI Factory Operations Agent 工作空间、选定技能和命令策略。其生命周期不会修改现有服务或生产工作负载。
安全性在各个层中得到加强。Kubernetes 检测使用服务器端 run_kubectl 工具，该工具可针对已注册的只读凭据调用固定的 kubectl 二进制文件。OpenShell 既不会接收 kubectl 也不会接收 Kubernetes 凭据。Kubernetes 服务账户和基于角色的访问控制 (RBAC) 定义了工具可以检查的集群资源。
由于这些检查通过运行时使用的相同 Kubernetes 访问路径运行，因此结果显示了智能体在集群内可以执行和不能执行的操作。
(agent) $ kubectl auth can-i get pods
yes
(agent) $ kubectl auth can-i get configmaps
yes
(agent) $ kubectl auth can-i get secrets
no
(agent) $ kubectl auth can-i create pods
no
(agent) $ kubectl auth can-i update pods
no
AI 工厂运营智能体、子智能体和工具
NVIDIA 内部部署的 AI 工厂运营智能体利用 NVIDIA 数据中心特定领域智能体的生态系统不断发展，每个智能体都提供建议。
工作恢复智能体：检测训练作业失败和良好的输出性能下降；跨调度程序、应用程序、硬件和网络层执行多层根本原因分析；并在确认根本原因时提出恢复步骤建议。
硬件智能体：在设备级别对硬件故障 (PCIe 错误、ECC 错误、GPU 问题、NVMe 故障和热异常) 进行分类，将症状追踪到特定组件。
Observability Agent：查询 Prometheus、遥测和集成 Grafana Loki 日志的历史记录，以动态创建控制面板，并直接在 Web UI 中显示。
研究智能体：搜索预加载的文档，包括 NVIDIA Mission Control 手册以及 DGX SuperPOD 参考架构和部署指南。您还可以上传自己的运行手册和站点特定指南。
Kubernetes Agent：跨 POD、服务、部署、GPU 资源、节点状态和调度状态提供只读操作感知。
集群管理智能体：通过诊断 MCP 工具与 NVIDIA Base Command Manager API 接口，用于咨询性集群管理和故障排除。
除了域代理之外，该框架还集成了跨领域 MCP 工具，包括网页搜索、代码执行和 Grafana 控制面板。
您还可以连接自己的 MCP 服务器和 API，使框架适应这些环境中已使用的调度器、可观察性平台、集群管理器和操作程序。
在数据中心使用智能体的经验
NVIDIA 通过衡量根本原因分析 (RCA) 准确性、跟踪 SRE 协议和扩展智能体生态系统，继续完善该框架。在生产应用方面，我们从中汲取了五大经验教训：
- 智能体边界清晰：所有权重叠会产生噪音，而非信号。
- 只读优先：准确的调查在自动化之前建立 SRE 信任。
- 跨层关联：该框架将工作负载、硬件和网络信号连接起来，找出被孤立工具忽略的根本原因。
- 精确的 MCP 工具：清晰的工具定义可改善路线规划并减少错误的工具选择。
- 透明推理：在采取行动之前，SRE 需要查看工具调用、证据和结论。
将智能体驱动的操作引入您的 AI 工厂
对于大规模运行 AI 工厂的组织而言，首选部署模型是与生产集群隔离的专用 GPU 加速控制平面。控制平面负责处理智能体编排和推理，而生产集群则提供遥测，而无需消耗训练 GPU 或中断工作负载。
内部 NVIDIA 部署在专用 GPU 容量上运行模型推理，并使用现有的控制平面 CPU Kubernetes 管理空间提供运行时服务。其他部署可以根据数据主权、集群大小和可用 GPU 容量使用本地或云推理端点，而较小的部署则使用 RTX PRO 工作站 或 DGX Spark。
对于多租户 AI 工厂，范围内的智能体、工具、沙盒和 Kubernetes 权限控制着每个租户可用的集群数据、工具和节点。租户 SRE 只能看到其命名空间、作业和节点，而中心操作可保留更广泛的集群可见性。每个租户都可以在需要时使用自己的一组特定于领域的代理和专用推理硬件。OpenShell 通过在具有内核级限制的隔离沙盒中运行每个租户的代理和工具来执行这些边界。
开始使用
要开始简化集群运营管理，请探索 AI Factory Operations Agent 开发者示例，或直接在 GitHub 上访问开源框架和代码。编排框架作为实验性开源软件提供；API、配置和部署要求可能会在不同版本之间发生变化。NVIDIA 客户可以联系其客户经理，请求访问 NVIDIA 开发的集群运营智能体。
