智能体/生成式 AI

使用 NVIDIA Nemotron 构建用于工业警报管理的分析 AI 智能体

工业机械产生的警报数量超过技术人员能够进行分类的数量。对于每个需要跟进的重要警报,技术人员都会提取历史背景,确定正确的程序,检查专家信号是否确认故障模式,并编写建议。此过程保持一致,非常适合AI智能体

本文将讨论使用 NVIDIA NeMo 库构建的按警报分析 AI 智能体,使用 NVIDIA Nemotron 开放智能模型和 NVIDIA OpenShell 安全运行时。给定传感器帧的警报,智能体:

  • 收集上下文 (历史记录、剧本、类似的过往案例)
  • 运行专家检查 (例如,使用 NVIDIA nv-tesseract 执行异常检测指标,使用 NeMo Retriever 执行 OCR 扫描剧本)
  • 发布结构化证据包:观察、根本原因假设、补救措施、建议的行动

该智能体是端到端 GPU 加速的,位于单个 HTTP 端点的后面。任何上游 (流中过滤器,操作者用户界面中的单击按钮) 都以同样的方式调用它。工具和大脑一样重要。

为什么工业和基础设施的每个警报工作都具有挑战性?

从汽车和火车到电梯和工业电机,机器之间的连接日益紧密。通过这种互连,服务人员和工程团队需要面对越来越多的可用数据来解决问题并了解机器中发生的情况。

与此同时,技术人员还需要筛选和评估从 SCADA 或物联网系统中不断推送给他们的信息,以找到重要的信号。通常,每小时有数百个警报,需要考虑数千个传感器读数,以及一系列不同的文件格式,解释每个传感器的操作方法。

例如,当警报发出时,技术人员通常必须通过多个数据源、工具和文档来回答以下问题:

  • 此素材或类别之前是否遇到过此警报?是怎么做的?是什么问题?
  • 该特定手册对这个错误代码、工厂工厂和位置有什么规定?
  • 信号是否真实?对于一般的高温警报,是异常还是趋势的一部分?维护操作是否正在进行?

完成这些问题后,技术人员必须编写推荐内容 (通常是工作订单) ,以便其他人可以采取行动并从中学习。

总之,这是一项费力的工作,需要丰富的经验以及与许多不同系统进行交互的能力。因此,处理通用步骤的助手可以显著加速这一过程。过滤相关信号、收集相关知识和起草可重复使用的推荐可以腾出时间,因此人类可以专注于更复杂的问题,并更快地处理其他公开事件。

AI 分析智能体如何帮助解决这些挑战?

当人类针对特定警报请求上下文时,AI 分析智能体会连接到不同的系统来收集知识,可能会使用专家进行更深入的分析,并最终起草有效的行动。整个智能体在沙盒中运行 (图 1) 。

 智能体的工作易于陈述和指定:

  • 输入: 一个警报有效载荷,包含传感器帧和素材元数据
  • 输出: 一个证据包 (观察、根本原因假设、补救措施、建议的行动) 加上支持痕迹
  • 延迟预算: 以秒为单位,而非以分钟为单位;操作员等待这一行变为绿色,因此每一步都需要尽可能快

要执行作业,智能体需要:

  • 操作说明 (图 1 中标记为 1)
  • 智能或推理能力,由NVIDIA Nemotron开放模型提供(图1中标记为2)
  • 用于与其他系统交互的编排工具 (图 1 中标记为 3-5)

这些指令是一批警报,结合了制定智能体目标的提示,以发送到 Nemotron,这是一系列具有开放权重、训练数据和方法的开放模型,为构建专用 AI 智能体提供领先的效率和准确性。具体而言,该助手使用 Nemotron 3 Nano 执行简单的编排任务,并使用 Nemotron 3 Super 进行复杂推理。这些模型作为优化的 NIM 容器托管在工厂生产线附近,用于低延迟推理或云端。

根据模型的指示,智能体朝着目标迈进。它使用不同的工具检索信息、评估相关性、进行筛选和分析。为满足用户的延迟预算,请务必尽可能快地执行每个步骤。

智能体使用什么工具?如何加速这些工具?

智能体主要需要在广泛的上下文中进行迭代组装和推理。因此,对于任何给定的警报,它都有三个自然子阶段:收集证据(图 1 标记为 3),运行专家检查(图 1 标记为 4),然后生成并验证操作(图 1 标记为 5)。每个步骤都使用使用 GPU 加速的工具,这些工具使用 CUDA-X 库 或 Nemotron 系列的其他专用模型。

加速结构化信息检索

默认情况下,智能体通过为相关传感器配置具有合适时间间隔的 SQL 查询和过滤器,来检索可能相关的警报和传感器读数。这些查询通常针对最近的警报和传感器帧的清洁入站流运行。为实现快速响应,我们使用 NVIDIA cuDF (一个可在 GPU 上加速数据处理和过滤的库) 对这些帧进行聚合和解析。

如果需要历史或更广泛的信息,智能体可以使用其 Text-2-SQL 工具从更广泛的数据仓库中检索这些信息。使用 Apache Vanna 通过 Nemotron 模型管理可用表上的上下文,可将问题转换为查询。例如,“在过去几个月中,具有特定序列号组的资产常用的警报类型是什么?”该方法还解决了资产层次结构和传感器拓扑在父/子组件关系方面的复杂先决条件问题,通常用于过滤。

采用 NVIDIA NeMo Retriever 的加速 RAG

许多用于解决警报的相关信息都隐藏在非结构化数据中,例如程序手册、特定位置的操作手册、工单模板和操作员流程说明。 NVIDIA NeMo Retriever 可加速相关信息的过滤。它编排 Nemotron Parse 或 Nemotron RAG 等专用模型,以加速复杂信息的提取和索引。如需了解更多详情,请参阅 适用于检索增强生成的 NVIDIA AI Blueprint

以迭代方式构建分辨率知识

最后,智能体的关键上下文是对其自身半结构化数据的记忆,特别是过去的补救工单和解决方案策略。可以使用 cuVS 加速这些内容的搜索。这使得智能体能够学习过去的经验,例如回答以下问题:“此签名以前是否被人看到过,修复工作是否成功?”

专家分析

通常情况下,普通警报(例如,“温度过高”或“振动尖峰”)需要在特定情况下得到专家的确认:轴承是否确实发生故障,还是传感器人为因素?为此,特定领域的专业工具或子智能体将与智能体一起部署。

例如,检索结构化传感器时间序列后,智能体可能需要调用分析智能体对数据执行采样或里叶变换,执行预测,或使用合适的库 (如 NVIDIA cuFFTNV-TessaractNVIDIA cuML) 筛选异常值。

动作生成和验证

完成信息收集和专家分析后,Nemotron 模型会迭代地将收集到的证据合成为结构化观察结果、根本原因假设、补救措施以及推荐的行动记录。之后,智能体使用策略和置信度门测试输出结果,并使用 Nemotron 3 内容安全 技术仔细检查输出结果的安全性。高置信度和内部策略会获得自动调度标志;低置信度或超出策略会上报给预先附加证据的技术人员。

Nemotron 模型提供智能体智能

Nemotron 模型为智能体的多个部分提供智能。它们提供推理大脑、NeMo Retriever 中的文档解析以及用于搜索的高质量嵌入。只需使用可用的检查点,它们即可发挥出色的性能,从而在几分钟内完成部署。

使用开放模型的另一个优势是,您可以根据任务轻松调整模型。例如,使用 recipe 根据剧本和技术领域的内容微调 Nemotron 嵌入模型,将使其能够更可靠地检索良好的结果。在更高级的情况下,微调将使推理模型更有效地根据警报上下文中使用的特定语言、行业领域和描述进行推理。

Nemotron 模型能够在任意位置 (使用合适的 GPU) 部署模型,并根据智能体的上下文进行精确调整,这使其成为该智能体的关键组件。

分析智能体能够取得怎样的结果?

此处描述的分析智能体可加速向用户提供警报证据的每一步。这使得从用户界面 (通常是警报上的第三方应用程序) 调用智能体并在相关时间获得答案变得易于处理。为了在给定设置中获得更高性能,可以将关键事件批量自动发送到智能体进行预分析。这将利用可用容量,进一步减少人类必须查看或分析的警报。

为什么编排、安全性和智能体演进很重要?

将智能体与其工具和大脑联系在一起的是编排 (提示组合、工具调度、重试、追踪) 。此外,智能体应学习和改进。通过设计,它将通过不断增长的“过去疗法”知识库变得更加智能。但是,即使这些信息不断增加,智能体偶尔也会选择错误的工具 (或者选择正确的工具,但传递错误的参数) 。

为简化这些任务,您可以使用 NVIDIA NeMo Agent Toolkit,部分 NVIDIA NeMo。它有助于将智能体公开为单个端点,生成可使用 NeMo Evaluator 评估的追踪,并处理许多使智能体生产做好准备的小细节。

对于此类智能体等通常处理敏感数据或可以访问生产相关系统的企业部署,安全性是关键。特别是,必须控制智能体可以执行哪些操作、可以调用哪些模型以及可以使用哪些工具。因此,对于任何智能体来说,建立沙盒都是有意义的。NVIDIA OpenShell 是适用于自主 AI 智能体的安全运行时,提供沙盒执行环境,可保护您的数据、凭据和基础设施,并由声明性 YAML 策略进行管理,可防止未经授权的文件访问、数据外泄和不受控制的网络活动。

开始构建分析智能体

如果您大规模运行机械,则每个警报技术人员的工作是该工作的智能体部分。本文中描述的过程是 NVIDIA 堆栈为其组装的过程:Nemotron 驱动的代理,具有 OpenShell 安全运行时,以及 GPU 加速的上下文和专业工具,作为一个 HTTP 端点,您现有的警报管理 UI 或工作流可以调用。

您可以使用 NVIDIA Agent Toolkit 构建块构建解决方案:

  • 适用于智能体的 NVIDIA AI-Q Blueprint:使用上述相同工具链连接、检索和推理企业数据的参考堆栈。从此处开始。
  • NVIDIA NeMo Agent Toolkit: 编排底层库。您可以编写智能体工具、追踪其调用,并将其作为 HTTP 端点公开。
  • NVIDIA OpenShell:在您需要门控工具调用和可回放追踪的任何部署中,智能体的运行时。
  • NVIDIA Nemotron:智能。在 build.nvidia.com 上注册免费的开发者访问权限,下载经过优化的 NIM 容器,或在 Hugging Face 上使用一系列检查点。
  • NVIDIA NeMo Retriever:将企业文档转换为结构化知识层特殊智能体的库可以进行推理,根据您的独特企业数据提供准确、快速的答案。
  • NVIDIA CUDA-X 库 (cuDF、cuVS、cuGraph) :处理存档向量图形工具。
  • NVIDIA NeMo Evaluator: 根据真实情况对工具使用和答案质量进行评分;在第一天就将其连接到 NeMo Agent Toolkit 跟踪日志。

准备好开始构建自己的智能体了吗?执行以下步骤:

  • 智能体的关键组件需要GPU才能运行。如果您没有可用的端点,请从用于Nemotron模型的托管NVIDIA NIM开发者端点开始,然后切换到您自己的端点。
  • 克隆 NVIDIA AI-Q Blueprint,使其与合成警报流相对立。
  • 首先将其连接到技术人员的现有工具中,并在必要时构建新的用户界面。
  • 与您的 NVIDIA 客户经理交流,了解站点的部署形状。初创公司可以向 NVIDIA 初创加速计划 申请积分和支持。

该智能体是系统的一部分,随着发出更多警报,可降低成本和性能。

标签