要了解代理式 AI的现状，不妨考虑一下技术领域的最新变革：互联网在 20 世纪 90 年代的兴起。这既新颖又充满了各种可能性。你可以在一个周末建立一个网站，并与世界分享，或者在网上聊天室与世界各地的人聊天，而无需支付长途电话费。它带来了无穷无尽的机会，但也带来了巨大的风险。网站可能会在您的机器上运行代码、窃取您的敏感信息或以病毒的形式感染您的计算机。无论如何，大家都很喜欢它。
为了引入信任层，社区构建了加密连接和锁定图标等内容，以了解连接何时安全。安全中的步进功能更改来自当时的一个激进的安全理念：将每个页面隔离在各自的沙盒中 (浏览器中的选项卡) ，这样恶意页面就不会感染计算机的其余部分。Amazon、Google、Netflix 和 Meta 均基于此信任层构建。
互联网的安全性为电子商务、连接、游戏等提供了前所未有的支持。安全性和安全性并未减缓创新的步伐，而是让创新得以加速。
为何现在要为智能体构建可信层？
一些前沿实验室最近也报告了同样的情况：AI 智能体打破了原本限制它们的评估环境，进入了原本不应该允许它们进入的系统。一些特工甚至误报了他们的行为。现有的安全控制措施不足。
在过去几周里，这些报告引发了一场关于智能体开发速度的激烈争论。我们认为，我们需要与前沿实验室和更广泛的社区合作，加快 AI 安全研究和工程的速度。
并不是单一的新功能带来了这些突破。它结合了工具、时间和模糊的指令，以及让智能体“跳出框框”思考的愿望
代理安全需要独立的安全控制。互联网并不是因为要求网络开发者承诺做好事而安全的。因为浏览器不再显式信任网页中的代码，所以它变得安全了。
我们需要为智能体构建此信任层。
从构建 OpenShell 中学到的经验教训
NVIDIA OpenShell (Apache 2.0) 是一个开源安全运行时，用于在具有内核级隔离的沙盒环境中执行自主 AI 智能体。在过去一年构建 OpenShell 的过程中，我们了解到每个智能体都应该在零信任环境中运行，开箱即用。它们需要隔离、监控和行为检测。今天，我们将推出一个开放堆栈，使这一切成为可能。
在我们自己的研究中，我们观察了智能体如何偏离轨道。漂移是指偏离预期任务或操作限制的智能体操作。对于策略块、漏洞或缺失的工具，可能会出现漂移。当指令不明确，或者代理需要运行数天或数周才能解决它们尝试的前 1000 项无法解决的难题时，也会发生漂移。在保留功能的情况下，训练这些功能是不可能的。以下是最重要的经验：在这些情况下，不能期望智能体完全控制自己的行为。
构建智能体系统的五大核心原则
- 策略需要可验证：在代理运行之前，验证器会显示其策略无法逃脱运算符的意图。
- 强制执行必须超出频段：控件不在智能体内部或触手可及的范围内。代理无需知晓其是否受到监视。
- 模型 (大脑) 的路径是控制点：智能体不能在没有下一个想法的情况下行动。通过控制模型的路径，您既拥有最佳观察点，也拥有终止开关，以便在需要时中断该观察点。
- 通过检查自身思维来扩展智能体的权威：智能体能做的越多，其推理就越需要可见。开放模型的一个优势是，整个推理空间和激活函数都是可见的。
- 应用共享责任模型：实验室、企业和硬件提供商各自拥有一个层，就像当今的云一样。智能体运行时及其策略语言需要开放，以便任何提供程序都可以插入。
三个开放代理安全平台层
适用于 AI 智能体的安全平台包括以下三层：
- 应用：最终用户正在构建的内容。包含任务成功所需的基元：模型、工具、工具、数据以及支持脚本和程序。
- 运行时：将应用层投射到基础架构上。将代理式工作负载编排到满足最终用户要求 (最终用户工作站、边缘设备、数据中心) 的基础设施上，并提供持续监控以及实时策略执行和治理。
- 基础设施：用于执行代理式工作负载的具体硬件资源。网络调用上游服务、数据库和文件系统访问、用于工具和代码执行的通用计算、用于安全监控的加速计算以及更高的工作负载密度。
智能体安全的分层基础
OpenShell 在沙盒中运行每个代理，并将操作者的指令转换为可验证的策略。运算符定义智能体可以访问的文件、网络、工具、流程和凭据。在智能体运行之前，OpenShell 会检查这些限制，并在工作时执行这些限制。
对于需要额外的独立层的组织，NVIDIA Sentry 将监控和执行扩展到 NVIDIA BlueField 硬件中。NVIDIA DOCA 使 BlueField 安全基础可编程，并将其与 OpenShell 策略连接。它关联智能体交互、策略决策以及工具和数据访问，以创建智能体活动的上下文记录。
这有助于安全系统识别漂移、调查可疑行为，并确定何时需要干预或更深入的分析。DOCA 网关通过身份治理来补充这种行为保护，不断验证每个智能体的身份和授权，以确保其在分配的范围内运行。
如需了解更多信息，请参阅技术演练：借助 NVIDIA OpenShell 为 AI 智能体添加运行时控制。
以 AI 工厂规模运营
NVIDIA Open Agent Safety Platform 经过优化，可在基于 NVIDIA Vera CPU 和 BlueField DPU 的系统上运行，并且还与其他硬件系统兼容。
在 NVIDIA Vera Rubin POD 中，每个计算托盘在节点的唯一模型路径上都包含一个 BlueField-4 数据处理器。从这个位置出发，BlueField-4 可为智能体行为提供持续的带外可观察性，并以线速实时执行安全策略。它与主机隔离，超出智能体的覆盖范围，即使在主机资源不可信任的情况下，也可以作为可信基础设施保护层。企业组织可以使用它将 NVIDIA Sentry 作为可选的安全层与 OpenShell 一起运行。
这一基础有助于实现弹性安全性、在芯片中执行 OpenShell 策略，以及持续评估智能体的安全性和完整性。这包括评估其运行时安全性，并根据预定义的行为配置文件监控是否存在偏离设计意图的情况。在此架构中，整个智能体、子智能体、工具和应用集群都保留在完整沿袭的边界内。对于已经在搭载 BlueField-4 的 NVIDIA Vera 系统上运行的任何人来说，启用这些保护只是一次软件更新。
智能体经济
互联网建立在开源、开放研究的基础之上，人们相信互联网可以改变人类的命运。增加信任可以将一个伟大的概念转变为伟大的经济。代理经济和下一批优秀的公司也在等待同样的结果。我们可以用同样的方式共同构建。
NVIDIA 正在与整个 AI 生态系统的行业领导者合作，通过 NVIDIA 开放代理安全平台 奠定这一基础。我们欢迎前沿实验室、开发者和基础设施提供商与我们一起进行构建。
