NVIDIA NeMo Agent Toolkit
NVIDIA NeMo™ Agent Toolkit 是一个开源 AI 库，可在任意框架中为 AI agent 增强智能能力，通过企业级的度量观测与持续学习机制，提升速度、准确性和决策质量，同时暴露隐藏的性能瓶颈与成本并优化整体工作流，帮助企业在保持可靠性的前提下高效扩展 agentic 系统。
它隶属于更广义的 NVIDIA Agent Toolkit 生态——这是一套用于构建、评估和优化安全、长时间运行自治智能体的工具、模型和运行时集合。
查看 NeMo Agent Toolkit 的实际应用
NeMo Agent Toolkit 的工作原理
NVIDIA NeMo Agent Toolkit 为 AI 智能体系统提供统一的监控和优化，可在 LangChain、Google ADK、CrewAI 和自定义框架中运行。它捕获有关跨智能体协调、工具使用效率和计算成本的详细指标，通过 NVIDIA 加速计算实现数据驱动型优化。它可用于并行化缓慢的工作流程、缓存昂贵的操作，以及快速维护和评估系统准确性。该工具包与 OpenTelemetry 和主要智能体框架兼容，可降低成本并增强性能，同时提供从单个智能体扩展到企业级数字工作者的见解。
简化开发
使用工具包的 YAML 配置构建器，快速轻松地对新的代理式 AI 应用进行试验和原型设计。借助智能体、工具和工作流的通用描述符，您可以灵活选择和连接最适合工作流中各项任务的智能体框架。访问一系列可重复使用的工具、工作流和代理式工作流，以简化代理式 AI 系统的开发。
提高可靠性
通过内置命令将评估置于开发工作流的中心，该命令可根据数据集测试智能体，使用可定制指标对输出进行评分，并生成详细报告，从而加快迭代速度并发布更可靠的 AI 智能体。定义您的工作流程，运行基准评估，应用修复，衡量影响，并重复测试，直到智能体达到生产级精度。
简化智能体优化
使用 Agent Hyperparameter Optimizer (智能体超参数优化器) 自动调整智能体，该优化器可选择最佳大语言模型类型、温度、max_token，并针对准确性、延迟、成本或自定义指标进行优化。通过使用遥测提示的智能请求路由来加速运行时性能NVIDIA Dynamo并使用收集的轨迹和强化学习对模型进行微调，在保持质量的同时降低成本。
全面的执行可视化
通过事件驱动架构提供基于插件的可观察性，该架构可跟踪智能体工作流的每个步骤，并将遥测数据导出到 Phoenix、Langfuse、Weave 或任何 OpenTelemetry 兼容服务等平台，以便您可以在开发和生产过程中调试故障、优化性能并跟踪成本。在工作流配置中同时配置多个导出工具，全面了解智能体行为、令牌使用情况和执行路径。
安全与防护
将 NeMo Agent Toolkit 安全与防护中间件功能用于 Red Team 代理式工作流，并找到可利用点和漏洞，如提示注入、越狱、工具污染和其他自定义攻击。在仪表板上可视化结果并分析风险。应用可插拔防御层和模型来降低风险，并提高智能体工作流的安全性。
生产规模化博客
使用 NeMo Agent Toolkit 分析、负载测试和可观察性，将 AI-Q 研究智能体扩展到数百个并发用户。
入门视频
观看视频演练，了解如何开始使用 NeMo Agent Toolkit。
教程博客
深入了解技术，了解如何通过与其他代理式框架 (例如 Agno) 集成来扩展工具包。
笔记本电脑
通过本系列 Notebook，我们将演示如何使用 NeMo Agent Toolkit 构建、连接、评估、配置和部署代理式系统。
开始使用 NeMo Agent Toolkit
使用 Pip 快速安装 (推荐)
pip install nvidia-nat # Verify the library installation: nat --help nat --version
示例的本地设置
# Clone the repo: git clone -b main git@github.com:NVIDIA/NeMo-Agent-Toolkit.git nemo-agent-toolkit cd nemo-agent-toolkit # Initialize the Git repository: git submodule update --init --recursive # Download the datasets: git lfs install git lfs fetch git lfs pull # Create a Python environment: uv sync --all-groups --all-extras uv venv --python 3.12 --seed .venv source .venv/bin/activate uv sync --all-groups --all-extras # Verify the library installation: nat --help nat --version
注意：按照上述说明，您必须已安装 uv。否则，要安装 uv，请单击此处开始。
入门套件
通过教程、最佳实践和文档，使用 NeMo Agent Toolkit 开始开发 agentic AI 应用。AI-Q NVIDIA Blueprint 提供了使用该工具包构建 agentic 工作流的示例。
NeMo Agent Toolkit 学习库
更多资源
AI 伦理
NVIDIA 认为可信 AI 是一项共同的责任，我们已制定相关政策和实践，以支持开发各种 AI 应用。根据我们的服务条款下载或使用时，开发者应与其支持的模型团队合作，确保其模型符合相关行业和用例的要求，并解决不可预见的产品滥用问题。
有关此模型道德因素的更多详细信息，请参阅模型卡 可解释性、偏差、安全性和隐私子卡。请单击此处报告安全漏洞或 NVIDIA AI 问题。