智能体/生成式 AI

多智能体仓库 AI 命令层实现卓越运营和供应链智能

仓库的自动化程度从未如此之高,数据也从未如此丰富,运营要求同样日益提升,但许多仓库仍依赖于无法跟上需求的系统。吞吐量持续攀升,服务水平协议不断缩短,AMR、传送带和传感器的数量逐年增加。然而,在这一技术表象之下,大多数站点依然依赖于三个熟悉的系统:仓库管理系统(WMS)、若干控制面板以及现有的机构知识。

主管需要管理超过 12 类设备、数千个轮班任务,以及持续不断的遥测数据,却缺乏统一的智能系统来解读这些信息或指导下一步行动。

本文将介绍适用于缺失层的 NVIDIA 多智能体智能仓库 (MAIW) blueprint。这一与 NVIDIA 保持一致的开源 AI 命令层位于 WMS、企业资源规划 (ERP) 和物联网基础设施之上,能够将分散的数据转化为实时且可操作的运营智能。

问题:仓库没有“大脑”

尽管在 WMS 和 ERP 系统、自动化车队、安全硬件、RFID、扫描仪、摄像头、仪表板和 BI 工具方面进行了多年投资,许多仓库依然缺少一项关键功能:一个能够在所有仓库环境中进行推理的系统。

运营知识仍然分散。SOP、SDS 表、LOTO 程序和 OEM 手册存放在密集的 PDF 文件中。WMS、ERP、LMS、维护和事件系统各自包含不同的部分。来自 PLC、AMR、IoT 传感器和充电站的遥测数据持续串流,但彼此之间缺乏连接。此外,个人往往保留着极具价值的见解,例如笔记、上下文信息及其他机构知识。

在日常工作中,这种碎片化会引发摩擦;而在达到峰值负荷、设备故障或发生安全事件时,问题则会演变为严重的责任风险。维护团队在遥测数据不完整的情况下艰难排查故障,主管在分配任务时缺乏对人员配置、设备状态和工作负载的统一掌握。安全警报被忽视,事故报告不充分,操作规程深埋于PDF文件中,无人有时间仔细查阅。

其结果是可以预测的:停机时间延长、任务分配效率低下、问题解决迟缓、存在安全漏洞,以及自动化系统作为孤立的孤岛运行,而非协调的整体,导致成本高昂。

仓库不需要更多的仪表板,而是需要一个实时决策层,能够理解自然语言问题,从数据和文档中提取证据,协调专业代理,提出合理的行动建议,并在严格的安全与合规框架下运行。这正是 AI 命令层的作用。

解决方案:AI 命令层

多智能体智能仓库为现代仓库运营提供统一的 AI 指挥层,将分散的系统、文档和遥测数据转化为实时且可操作的智能信息。通过在设备运维、人员协同、安全保障、预测分析和文档智能等环节协调专用的 AI 智能体,该平台助力仓库实现从被动管理向主动化、自适应决策的转变。

  • 统一的仓库智能:将 WMS、ERP、物联网、文档和遥测数据整合至单一 AI 驱动的操作视图中。
  • 更快、可解释的决策多智能体 AI 提供基于证据的实时建议,助力运营人员建立信任。
  • 提升吞吐量,降低停机时间:主动优化人力、设备与维护策略,减少运营中断。
  • 更安全、更合规的操作:持续监控事件、标准作业程序及环境信号,强化安全响应能力。
  • 物理 AI 的基础:推动仓库运营从被动响应向感知驱动的自主化模式演进。

设计目标:为整个仓库提供人工智能助手

MAIW 背后的目标是构建具备以下特性的生产级参考系统:

  • 演示 NVIDIA AI 堆栈(包括 NVIDIA NIMNVIDIA NeMoNVIDIA cuML、和 NVIDIA cuVS)如何为运营助理提供支持。
  • 构建适配仓库角色的多智能体架构:设备、运营、安全、预测与文档处理。
  • 将检索增强生成(RAG)、预测能力与文档 AI 融合至统一工作流中。
  • 集成完善的安全机制、实时监控与防护措施,超越原型级聊天机器人。
  • 采用开源设计并具备良好扩展性,便于客户与合作伙伴根据实际环境灵活调整。

MAIW 是一个集 API、UI、智能体、连接器、可观察性及部署资产于一体的完整系统。

MAIW 核心技术堆栈

MAIW 在 NVIDIA AI Enterprise 平台上构建端到端系统。该系统由 NVIDIA AI Enterprise 应用提供全面支持,将高级语言模型、快速检索、文档智能与 GPU 加速分析整合到一个高度集成的架构中。

System architecture diagram for a Multi-Agent Intelligent Warehouse platform. Warehouse users access a frontend that connects through an API gateway with JWT security. Core AI services include NVIDIA NIM (Llama-3.3-49B, Nemotron-Nano-12B-VL, NeMo Retriever Embedding) with NeMo Guardrails. An MCP integration layer coordinates multiple agents—Planner, General, Document Extraction, Forecasting, Safety, Equipment, and Operations—supported by a memory manager. A six-stage NeMo document processing pipeline handles retrieval, intelligent OCR, small-LLM processing, embedding/indexing, LLM-as-judge, and routing. Hybrid RAG combines Milvus vector search with PostgreSQL/TimescaleDB structured retrieval. A forecasting subsystem uses NVIDIA cuML, ensemble models, and BI monitoring. Data storage includes PostgreSQL/TimescaleDB, Redis cache, Milvus DB, and MinIO. Arrows depict workflows across agents, AI services, document processing, RAG, forecasting, and storage. System architecture diagram for a Multi-Agent Intelligent Warehouse platform. Warehouse users access a frontend that connects through an API gateway with JWT security. Core AI services include NVIDIA NIM (Llama-3.3-49B, Nemotron-Nano-12B-VL, NeMo Retriever Embedding) with NeMo Guardrails. An MCP integration layer coordinates multiple agents—Planner, General, Document Extraction, Forecasting, Safety, Equipment, and Operations—supported by a memory manager. A six-stage NeMo document processing pipeline handles retrieval, intelligent OCR, small-LLM processing, embedding/indexing, LLM-as-judge, and routing. Hybrid RAG combines Milvus vector search with PostgreSQL/TimescaleDB structured retrieval. A forecasting subsystem uses NVIDIA cuML, ensemble models, and BI monitoring. Data storage includes PostgreSQL/TimescaleDB, Redis cache, Milvus DB, and MinIO. Arrows depict workflows across agents, AI services, document processing, RAG, forecasting, and storage.
图 1。多智能体智能仓库 Blueprint 架构

在推理层,LLM NIM 驱动助手的智能:Llama 3.3 Nemotron Super 49B 负责处理复杂的操作决策,NVIDIA Nemotron Nano 12B v2 VL 则增强了对文档和图像的视觉语言理解能力。输出结果依托于基于 Llama Nemotron Embed QA 1B 构建的高性能检索层,并结合 Milvus 与 cuVS 实现快速的 GPU 加速向量搜索。

对于文档,精简的 NeMo Retriever 工作流通过执行 OCR、归一化、提取、验证和索引,将 PDF、图像以及多页的 BOL 或发票转换为系统可推理的结构化数据。

所有数据均通过混合式 RAG 架构流动。结构化遥测数据存储在 PostgreSQL/TimescaleDB 中,非结构化内容则通过向量搜索进行处理,混合路由器为每次查询选择最优策略。Redis 缓存可实现每秒持续响应。

预测由 NVIDIA cuML-加速的六个模型集成提供支持,通过 Optuna 进行调优,实现了较强的性能(准确率约为 82%,MAPE 为 15.8%)。

全部封装于生产级应用堆栈中:

  • FastAPI 后端
  • React 前端
  • 完整的 Prometheus 与 Grafana 可观察性体系
  • NVIDIA NeMo Guardrails 确保所有交互安全合规

多智能体智能层的思考与运作方式

MAIW 并非单一助手,而是一个由专业 AI 智能体组成的协同团队,每个智能体均经过训练,可负责仓库运营的不同环节。LangGraph 用于编排它们的协作方式,而模型上下文协议 (MCP) 则為其提供共享层,支持工具调用、访问外部系统以及实时数据获取。

用户的查询会依次经过护栏、意图路由、内存查找、检索以及工具执行,最终返回安全且有依据的答案。图 2 所示的完整工作流程展示了这些组件如何协同工作。

智能体 作用
Planner 和 General 路由意图,将任务分解为具体步骤,并选择合适的智能体;直接处理简单的设备查询
设备和资产操作 跟踪与管理叉车、AMR 和传送带;检查遥测数据、维护状态和利用率情况
运营协调 管理任务、应对生产浪潮、人员配置及 KPI 监控;诊断系统瓶颈并执行相应修复措施
安全与合规 确保安全与合规性,严格执行标准操作流程与规范;处理事件、检查表和警报
预测 预测需求和库存不足风险;生成并推送补货建议
文档处理 对BOL、发票和收据运行OCR和提取;为检索索引结构化结果
表 1。 MAIW 是一个由专业 AI 智能体构成的协同团队,每个智能体均经过训练,可负责仓库运营的不同环节。

MAIW 核心 AI 服务

MAIW 核心 AI 服务涵盖智能文档处理、安全性、可靠性及可观察性。

智能文档处理

智能文档处理流程结合 NVIDIA NIM、多模态基础模型以及基于质量的编排机制,实现大规模的企业级高精度处理。首先利用 NeMo Retriever 进行文档提取与预处理,随后通过 NeMoRetriever-OCRNemotron Parse,结合智能 OCR 与布局分析技术,生成结构化的高保真表示。小型视觉语言模型(Nemotron Nano 12B VL)进一步执行基于视觉的字段提取与文档分类任务,并将结果后处理为符合预定义模式的 JSON 格式。

使用 NeMo Retriever 嵌入模型生成的嵌入在 Milvus 中进行索引,以支持语义搜索及后续的 RAG 应用。针对高价值或低置信度的案例,大语言模型(LLM)评审模块将评估其一致性、准确性和完整性,并对信息提取质量进行评分。随后,智能路由层会自动判断文档应被直接接受、标记为快速审核、转交专家审查或拒绝并进入后处理流程,从而在保障准确性和响应速度的同时优化成本,并通过持续的反馈机制推动系统不断改进。

此反馈回路基于 LLM 评委和智能路由阶段构建。在小型视觉语言模型完成初步提取后,LLM 评委会对每份文档的一致性、完整性和置信度进行评估,生成评分结果及高质量的解释。这些评分将驱动路由引擎,决定文档是被自动接受、送至轻量级人工审核、升级至专家审核,还是被拒绝并进入后处理流程。

当文档通过自动更正或人工审阅进行修正时,经过验证的输出会作为标准化和评分的元数据反馈至系统,进而更新文档存储、嵌入索引和质量信号。对于低置信度或被拒绝的文档,则会重新路由至早期阶段(如 OCR、布局提取或小型 LLM 处理),实现有针对性的后处理,而非重新执行完整的工作流。随着时间推移,这一闭环流程持续提升提取准确性、路由决策、提示策略及模型选择策略,使系统能够动态适应变化,同时在大规模场景下降低整体成本与延迟。

Intelligent document processing workflow diagram, including Ingestion and Storage; Document Processing; OCR & Layout; Small LLM Processing; Embedding and Indexing; Large LLM as a Judge; and Intelligent Routing. Intelligent document processing workflow diagram, including Ingestion and Storage; Document Processing; OCR & Layout; Small LLM Processing; Embedding and Indexing; Large LLM as a Judge; and Intelligent Routing.
图 2。智能文档处理工作流

安全性和可观察性

AI 命令层只有在操作员信任的前提下才能运作。MAIW 正是基于这一原则构建的。

使用 NeMo Guardrails 保障每次交互的安全

NeMo Guardrails 的实现采用两种方法:基于模式的后备用于提升可靠性,以及用于可编程护栏的 NeMo Guardrails 库(v0.19.0)。

GuardrailsService (src/api/services/guardrails/guardrails_service.py) 通过 USE_NEMO_GUARDRAILS_SDK 环境变量实现选择,并在库不可用时自动回退。

启用库模式后,NeMoGuardrailsSDKService 包装器会从 Colang 配置 (data/config/guardrails/rails.co) 中初始化 LLMRails,该配置定义了五个类别的 88 种保护模式:越狱检测(17 种模式)、安全违规(13 种模式)、权限滥用(15 种模式)、合规违规(12 种模式)和离题查询(13 种模式)。

该库使用 NVIDIA NIM 端点 (configured in data/config/guardrails/config.yml) 和兼容 OpenAI 的模型,并通过调用 rails.generate_async 并检测拒绝响应来执行输入安全检查:

# SDK Input Safety Check
result = await self.rails.generate_async(
    messages=[{"role": "user", "content": user_input}]
)
is_safe = not self._is_refusal_response(result.content)

安全模型:按设计控制访问

JSON Web Tokens (JWT) 实现 (src/api/services/auth/jwt_handler.py) 通过 HS256 算法提供无状态身份验证,其中包含用户身份与角色信息,并支持密钥强度校验(至少 32 字节),以应对 CVE-2025-45768。该机制结合 CurrentUser 上下文类与 FastAPI 依赖注入,实现基于角色的访问控制 (RBAC)。Token 经验证签名、有效期及类型后被解码,以提取用户角色与权限。

系统将精细权限(INVENTORY_WRITEOPERATIONS_ASSIGNSAFETY_APPROVE 等)映射到五个角色级别(ADMINMANAGERSUPERVISOROPERATORVIEWER),并通过 require_permissionrequire_role 依赖项实现声明式端点保护:

# JWT token with role → RBAC enforcement
user_data = {"sub": str(user.id), "role": user.role.value}
access_token = jwt_handler.create_access_token(user_data)

@router.get("/admin/endpoint")
async def admin_endpoint(user: CurrentUser = Depends(require_admin)):
    # Only SYSTEM_ADMIN permission holders can access

可观察性:MAIW 作为关键的生产基础设施

Prometheus 和 Grafana 可实时洞察系统行为:API 延迟、向量搜索性能、缓存效率、智能体响应时间、预测准确性,乃至设备遥测。通过像分析任何关键仓库服务一样对待 MAIW,SRE 和运营团队能够可靠地监控、调试并持续优化 AI 层。

启动多智能体智能仓库系统

有两种方法可以开始使用 MAIW:

GitHub 存储库的结构是一个完整且可运行的参考实现:

  • 后端:FastAPI 服务、检索堆栈、内存、适配器、护栏
  • 前端:集成聊天、预测与监控视图的 React 控制面板
  • 基础架构:Docker Compose、Helm Chart 及配置脚本
  • 数据与脚本:SQL 模式、演示数据、预测工作流、文档处理流程
  • 文档:架构说明、MCP 集成详情、预测功能文档、部署指南、PRD

以下是典型的本地设置:

git clone https://github.com/T-DevH/Multi-Agent-Intelligent-Warehouse.git
cd Multi-Agent-Intelligent-Warehouse

# Environment and infrastructure
./scripts/setup/check_node_version.sh
./scripts/setup/setup_environment.sh
cp .env.example deploy/compose/.env
./scripts/setup/dev_up.sh

# Initialize database & demo data
source env/bin/activate
python scripts/setup/create_default_users.py
python scripts/data/quick_demo_data.py
python scripts/data/generate_historical_demand.py

# Start services
./scripts/start_server.sh          # API (http://localhost:8001)
cd src/ui/web && npm install && npm start   # Frontend (http://localhost:3001)

将仓库复杂性转化为可控性

供应链变得更加不稳定、自动化程度更高且数据更加丰富,而仓库是供应链的关键组成部分。当前的堆栈(WMS、仪表板和人工干预)无法持续扩展。

AI 命令层提供前行路径,包括:

  • 一个支持跨系统推理的可操作“大脑”
  • 具备可解释性的推荐,而非不透明的启发式方法
  • 实现更快的事件响应速度与更充分的证据支持
  • 通过规范化的防护机制保障更安全的操作
  • 更高效地利用现有的自动化与数据投资

多智能体智能仓库是该命令层的一种高效开源实现,基于 NVIDIA AI 平台构建,并与更广泛的 NVIDIA blueprint 策略保持一致。

如果仓库已处于复杂程度的临界状态,MAIW 将展示如何将其从被动的管理困境,转变为更为主动、数据驱动且由 AI 辅助的运营模式。

详细了解多智能体智能仓库系统。

 

标签