网络安全

六种智能体线束功能可实现更高的模型性能

构建出色的 AI 智能体不仅仅是选择合适的模型。线束是围绕模型的架构。渲染上下文、执行动作、管理状态以及决定任务何时完成,所塑造的结果与模型本身一样重要。光是线束设计就可以考虑到基准测试结果的两位数波动和 token 成本的显著差异,且底层模型相同。

NVIDIA Labs Object-Oriented Agents (NOOA) 是基于此见解构建的开源研究预览。它具有 Python 框架、内存系统、能力测试和基准测试智能体,并已发布代码、数据和评估,因此社区可以复制、挑战和构建这些结果。

代理是 Python 对象

智能体开发涉及跨提示模板、工具模式、回调代码和工作流程图协调多个移动部分。NOOA 采用了一种更简单的方法:智能体就是一个 Python 类。它的方法就是它的能力。它的字段就是它的状态。它的文档字符串就是提示词。其类型标注是可执行的合同。其主体为省略号 (… …) 的标准 Python 方法在运行时由 LLM 驱动的循环完成。具有法线主体的方法以普通的确定性 Python 运行。

class SupportAgent(Agent):
    """You are a support agent for a customer service system."""

    order_db: OrderDB  # object state: model-visible, passed by reference

    def is_refund_eligible(self, order: Order) -> bool:
        """Return whether an order is eligible for a refund."""
        return order.delivered and order.days_since_delivery <= 30

    @strategy(PredictStrategy())
    async def classify(self, message: str) -> TicketKind:
        """Classify the customer message into the best ticket kind."""
        ...

    async def triage(self, message: str, photo: Image | None,
                     order: Order | None) -> Ticket:
        """Triage a customer message and create a support ticket."""
        ...

这样做的好处是,智能体开发成为了传统软件开发。人类和 AI 编码智能体可以使用已用于所有其他代码库的相同工具,对智能体进行差异化、代码审查、单元测试、追踪、版本控制和重构。

六个想法,一个表面

NOOA 架构确定了六种面向模型的界面理念,可提升智能体性能:

  1. 类型化输入/ 输出:代理式调用具有类型化参数和经过验证的返回值,而非自由文本。
  2. 引用传递:模型在实时 Python 对象上运行,可以看到有边界的预览,而不是序列化的转储文件。
  3. 代码即行动:模型通过编写 Python 来行动,并使用控制流和内联方法调用。
  4. 可编程循环工程:编排循环是普通的 Python,可由开发者和模型本身编写。
  5. 显式对象状态:持久的类型化状态存在于智能体对象上,而不仅仅存在于对话历史记录中。
  6. 可调用模型的线束 API:上下文块和事件历史记录是模型可以检查和管理的 API。

智能体管理自己的内存

NOOA 包含一个长期内存子系统。与自动背景摘要流程不同,内存是智能体通过模型可调用工具整理的存储库,在工作中有意编写、查询和纠正记录,而与当前转变相关的随机记忆则自动呈现为上下文。记录包含类型、重要性和标签。“支持”、“矛盾”和“衍生自”等类型关系将记录连接到知识图谱中,而不是简单的日志。背景反射通道通过合并重复记录、关联相关记录、将情节提炼成见解,并修剪不再相关的信息,从而整合存储。

智能体无需重新训练即可跨会话积累知识。所有内容都保留在一个人类可读的 SQLite 文件中,团队可以使用标准实践检查、备份和查看该文件。存储的内存可以引用实时智能体状态,使知识保持最新。多个智能体可以共享一个商店,同时保留单独的所有权。在接下来的 ARC-AGI-3 评估中,与使用基于文件的注释的同一代理相比,系统将 RHAE 提升了约 11.8 点。

同一模型提供更多功能

这六项功能可跨多个不同领域进行测量,且相同的通用接口可提供高级结果:

软件工程在经过验证的 SWE 工作台上,NOOA 达到 82.2%,GPT-5.5 高于提交时发布的排行榜 SOTA ( 79.2%) ,Opus 4.6 达到 79.8%,使用的是一个通用的、行数为 253 的智能体,且没有基准特定的提示。

网络安全在 CyberGym L1 中,NOOA 使用 GPT-5.5 解决了 86.8% 的问题。得分最高的开源智能体,领先于大多数领先的闭源系统。它在运行时阻止网络访问,并对每个轨迹进行基于规则的“作弊检查”,因此结果来自对代码本身的推理,而不是查找披露的漏洞。未使用网络安全特定的转向。

一般推理在 ARC-AGI-3 上,在 GPT-5.5 下,单个 NOOA 智能体的 RHAE 平均值达到 50.2% (技能:比假设驱动的基准高出 8.5 分;记忆:比基于文件的注释高出 11.8 分) ,在 GPT-5.6-sol 下达到 85.1%,从而使基准测试的 Pareto 前沿得分低于每局 20 美元 ( 17.85 美元和 13.3 美元;记分卡: GPT-5.5GPT-5.6-sol) 。

相同的性能、一半的 token,且无需上下文压缩

线束工程不仅能带来准确性,还能带来效率。使用 GPT-5.5 时,在 SWE 工作台验证中,NOOA 达到 82.2%,每个任务使用 29 次 LLM 调用和约 110 万个 token。通过比较,需要 66 次调用和 220 万个 token 才能达到 78.2%,需要 29 次调用才能达到 130 万次,才能达到 78.6%。均等或更好,成本大约只有后者的一半。

两种机制推动了这一进程。

首先,引用传递:工具结果变成直接在代码中组成的实时 Python 变量,而不是以文本形式在上下文窗口中来回传递。模型会看到类型化的有界预览;完整值在执行环境中保持有效。

其次,同样的属性意味着 NOOA 不需要上下文压缩来解决具有前沿模型的 SWE-Bench:中间会话在 22 – 72k 提示令牌下达到峰值,而窗口数量为 200 – 400k。由于 NOOA 通过引用来传递工具结果,而不是将其序列化到上下文窗口中,因此转录内容在整个会话期间保持仅附加和缓存有效。无需进行摘要传递,预填充缓存会在整个任务中点击化合物。

在 ARC-AGI-3 上以低于 20 美元的价格购买每款游戏,RHAE 达到 85.1%

ARC-AGI-3 在未知网格游戏中放置代理。规则、目标和控制必须通过行动来发现。NOOA 示例是配套 DreamTeam 架构的单代理端口,由六个专门的代理围绕一个共享的可执行世界模型进行协调,该模型已缩减为一个代理和一个 45 行技能。游戏在单独的线束流程中运行,该流程通过仅附加文件交换状态和操作。

该技能指导智能体在其工作空间中将世界模型构建为一组 Python 程序,以编码观察到的状态并预测下一个状态。每次回合,智能体都会进行回溯,将其预测与实际发生的情况进行比较,并在不匹配的情况下修改其模型和假设。

在两小时上限的竞赛模式下,GPT-5.5 车队的平均 RHAE (记分卡) 达到 50.2%。与基于文件的注释相比,世界建模技能的贡献率约为 8.5 分,而内存子系统的贡献率约为 11.8 分。GPT-5.6 的 Sol 系列达到了 85.1%,每款游戏约 13.3 美元 (记分卡) ,推动了该基准的得分成本前沿 — — 25 款游戏中,有 19 款完全完成了测试。

两支车队的每场比赛均低于 20 美元。这些集群在分层沙盒下运行,包括进程中的单元守卫、每次运行的操作系统权限下降、游戏身份的端到端匿名化以及内核强制的每单元沙盒。红色团队对这两支车队进行了审核,其中 18 次通过了 GPT-5.5 的实时运行,9 次通过了 GPT-5.6-sol 运行的扫描器审核,发现任何规则都没有泄露 (检查了 13335 和 10107 日志) 。对于生产部署,NOOA 与 NVIDIA OpenShell 安全运行时配对。

将 NOOA 应用于漏洞发现

漏洞发现是对智能体框架的一项苛刻测试。智能体必须在大型代码库中找到候选漏洞,然后通过生成导致漏洞代码崩溃的输入来证明其真实性。证明步骤是无情的。崩溃必须是正确的,而且必须重现,否则这一发现毫无价值。NOOA 可以使这种工作流程更易于构建。确定性检查和模型推理基于一个类型的对象,因此每个验证步骤都作为强制代码运行,而不是模型可能遵循或不遵循的提示指令。

在最近的内部研究中,NVIDIA 将验证流程作为单个 NOOA 对象实施。该模型编写并运行 Python,用于调用智能体自己的方法,将探索和检查集中在一个位置,而不是通过固定的工具菜单来进行路由。其中三种方法是确定性门。第一种方法是将验证器的原始输出转化为清晰的“崩溃或非崩溃”结果。第二个选项确认崩溃与报告的漏洞相符。第三个是重新运行输入,检查是否重现。由于门是普通的类型方法,而不是在不同进程之间传递的自由格式文本,因此只有当代码如此指出时,才会接受发现,并且整个运行是我们可以检查和测试的单一跟踪。

在 CyberGym L1 (一种真实漏洞重新发现的基准测试) 上,NOOA 增强型研究工具使用通用模型且无需网络访问即可完成 86.8% 的任务。

开放智能体生态系统研究预览

通过在各种开放式和专用系统中对编排、工具、内存、模型接口和评估做出贡献,智能体生态系统发展迅速。NOOA 为这一进展做出了贡献:开放智能体以面向对象的智能体框架的形式进行研究,在软件工程、网络安全和推理基准测试中取得了先进的成果。NVIDIA 正在公开框架、测试、基准智能体和评估方法。

开放式实施非常重要,因为团队可以检查方法而不是信任它。它们可以基于透明、类型化、可检查的智能体进行构建,这些智能体在单个存储中具有人类可读的状态、可查询的事件历史记录,以及支持现有安全审查、访问控制和可观察性实践的标准接口。

NOOA 可用作开放的实验表面,而非现有线束的替代品。我们会记录报告中的技术,以便任何项目都可以采用、挑战或改进这些技术。

开始使用

  • 阅读技术报告
  • 获取包含框架、功能测试和基准测试智能体的代码
  • 使用车队运行器运行世界模型求解器 examples/arc_agi_3
  • 借助 NVIDIA OpenShell 安全部署。

标签