面向开发者的 NVIDIA NeMo Guardrails

NVIDIA NeMo™ Guardrails 是一款可扩展的 AI 安全防护编排解决方案,旨在确保智能体应用的安全、可靠与一致性。它可用于定义、编排并执行内容安全、主题控制、PII(个人身份信息)检测、RAG 溯源以及越狱防护等防护措施,具备低延迟与无缝集成功能。该方案具备良好的可扩展性与定制性,可与 LangChain、LangGraph 和 LlamaIndex 等框架集成,支持多智能体部署,并利用 GPU 加速实现低延迟性能。NeMo Guardrails 还内置了基于 NVIDIA Nemotron 模型的 NVIDIA NIM™ 微服务Hugging Face 上提供的开箱即用模型,覆盖内容安全、主题控制和越狱检测等功能,并配套一个不断扩展的 AI 安全模型、防护规则与可观测性工具生态系统。它是更广泛的 NVIDIA NeMo 软件套件的一部分,用于构建、监控与优化智能体全生命周期。

立即下载文档
论坛


了解 NVIDIA NeMo Guardrails 的实际应用

在构建安全、合规的智能体时,执行内容安全、RAG 溯源和越狱防护。本视频演示了 NeMo Guardrails 如何简化防护机制的编排,使 AI 应用更加安全可靠。


NVIDIA NeMo Guardrails 的工作原理

NeMo Guardrails 提供用于构建稳健、可扩展防护解决方案的组件,专为 LLM 应用和智能体设计。它可根据特定场景策略评估用户输入和模型响应,在原生防护功能之外提供额外的安全层。

主要优势:

  • 可编程策略:支持自定义内容审核、PII(个人身份信息)检测、主题相关性和越狱检测,可根据行业与应用场景进行调整。

  • 高效编排:同时筛查用户输入与模型输出,以最低延迟高效协调多项防护机制。

  • 企业级支持与可扩展性:可应对高并发需求,并扩展至多个应用场景,提供企业级支持。

  • 流程管理:通过灵活的操作方式,根据需求阻止、筛选或调整后续动作与响应。

A diagram showing how NVIDIA NeMo Guardrails supports multiple AI guardrails

入门博客

借助 AI 护栏简化可信 LLM 应用的构建,确保安全性和可控性。

文档

探索入门资源,例如示例、用户指南、安全指南、评估工具等。

示例配置

此文件夹中的配置展示了 NeMo Guardrails 的各种功能,例如使用特定的 LLM、启用流式传输和事实检查。

客户助理示例

了解如何将高级内容审核、越狱检测和主题控制与 NeMo Guardrails NIM 微服务集成。


开始使用 NVIDIA NeMo Guardrails 的方法

借助 NeMo Guardrails 可扩展的 AI Guardrails 编排平台,使用合适的工具和技术保护 AI 应用。

AI guardrails code

下载

免费获取 NeMo Guardrails 微服务,用于研究、开发和测试。您可以通过 Safety for Agentic AI 开发者示例体验该微服务。

下载微服务
AI guardrails code

访问 SDK

为了使用最新的功能和源代码将 AI 护栏添加到 LLM 应用中,NeMo Guardrails 在 GitHub 上作为开源项目提供。

访问 SDK
AI guardrails microservice

试用

在 Hugging Face 上体验 Nemotron Safety Guard 模型,用于内容安全、主题控制和越狱检测。

试用模型

性能

NeMo Guardrails 支持 AI 护栏,可确保 LLM 推理安全可靠且合规。体验合规性提升高达 1.5 倍,延迟仅为 0.5 秒。通过强制实施 AI 模型、智能体和系统的自定义规则,确保企业 AI 运营的安全性和可靠性。使用经过优化且易于部署的预封装 NVIDIA NIM™ 微服务。

借助 NeMo Guardrails在仅有半秒延迟的情况下合规率可提升至 1.4 倍以上

通过 5 个 AI Guardrails 评估策略合规性

基准测试显示,在 NeMo Guardrails 中并行编排多达五个 GPU 加速防护机制,可使策略合规性提升 1.5 倍,而仅增加约 0.5 秒延迟,在不降低响应速度的情况下实现约 50% 的防护增强。


NVIDIA NeMo Guardrails 学习资源库


更多资源

AI guardrails community

探索社区

AI guardrails training

获取培训和认证

AI guardrails startup

加速您的初创公司发展


AI 伦理

NVIDIA 的平台和应用框架使开发者能够构建各种 AI 应用。在选择或创建要部署的模型时,请考虑潜在的算法偏差。与模型的开发者合作,确保其满足相关行业和用例的要求;提供必要的说明和文档以了解错误率、置信区间和结果;并且确保在预期的条件和方式下使用模型。

立即开始使用 NeMo Guardrails。

立即下载