NVIDIA Nemotron
NVIDIA Nemotron™ 是一系列最开放的模型，配备开放的权重、训练数据和方案，提供业内领先的效率和准确性，用于构建专用的 AI 代理。
NVIDIA Nemotron 模型
Nemotron 模型具有高度透明性——这些模型使用的训练数据以及模型权重都是开放的，并已在 Hugging Face 上提供，便于你在投入生产前进行评估。概述如何复现这些模型所需步骤的技术报告也同样免费开放。
全新的 Nemotron 3 系列提供高效的开放模型，基于混合 Mamba‑Transformer MoE 架构并支持 100 万 token 上下文，为复杂的、高吞吐量的 agentic AI 应用带来出色的准确率。
你可以使用 vLLM、SGLang、Ollama 和 llama.cpp 等开源框架，轻松在任意 NVIDIA GPU 上部署这些模型——从边缘设备、云环境到数据中心。还可以通过 NVIDIA NIM 微服务形式获取推理端点，从而在任何 GPU 加速系统上便捷完成部署。
Nemotron 推理模型针对各种平台进行了优化：
Nano 提供高性价比能力，在成本可控的前提下，对特定的 agentic 任务依然保持较高准确率。
Super 面向多智能体应用中的推理和 agentic 任务，在效率和准确率方面都表现突出。
Ultra 则面向对推理准确率要求更高的应用场景而设计。
此外，这些模型可提供超高吞吐量，使智能体能够更快地思考并生成更准确的响应，同时降低推理成本。
Nemotron 模型还可用于视觉理解、信息检索、语音和安全。
Nemotron 3 Nano 30B A3B
- 与 Nemotron 2 Nano 相比，Nemotron 3 Nano 的吞吐量提高了 4 倍
- 在编码、推理、数学和长上下文任务方面，准确性领先
- 非常适合需要为目标任务提供最高准确性和效率的智能体
Nemotron 3 Super 120B A12B
- 更高的效率和领先的准确性
- 非常适合在多智能体环境中处理复杂任务
- 适用于单数据中心 GPU 部署
Llama Nemotron Ultra 253B
- 非常适合需要最高准确性的多智能体企业工作流， 例如客户服务自动化、供应链管理和 IT 安全性
- 适用于数据中心规模的部署
Nemotron Nano VL 12B
- 出色的视觉语言准确性
- 专为文档智能和视频理解而设计
适用于单数据中心 GPU 部署
Nemotron RAG
- 行业领先的提取、嵌入和重新排序模型
- 为多模态文档智能、问答和通道检索提供出色的准确性
Nemotron Safety
- 先进的多语种、多模态安全模型，可提供高精度的越狱检测、带有文化细微差别的内容审核、细粒度 PII 检测、基于推理的自定义策略执行和主题控制，从而在全球范围内的领域和用例中实现更安全、更合规的 LLM。
- NeMo Guardrails 是一个灵活、开放的库，用于实时定义和实施企业 AI 策略，涵盖对话控制、主题指导、RAG Grounding、工具调用治理、安全过滤等，可跨自定义、社区和 NVIDIA 安全轨并行执行低延迟策略。
Nemotron 语音
- 开放模型系列，专为代理式 AI 应用的高吞吐量、超低延迟自动语音识别 (ASR) 、文本转语音 (TTS) 、语音转语音 (S2S) 、全双工和神经网络机器翻译 (NMT) 而优化
- Nemotron 语音模型NVIDIA RivaGPU 加速的语音 AI 库提供先进的 ASR 和 TTS 功能，可实现无缝生产部署
NVIDIA Nemotron 数据集
利用商用最广泛的开放式代理式 AI 合成数据集合，提高大语言模型 (LLM) 的推理能力。Nemotron 数据集集合涵盖训练前和训练后、用户角色、安全、RL 和 RAG 数据集，包括超过 10T 语言 token 和 1800 万个监督式微调 (SFT) 数据样本。
生成、筛选和整理这种规模的数据是一项艰巨的任务，使这些数据集能够在宽松的许可下公开可用。研究人员和开发者现在可以更透明地训练、微调和评估模型，并更快地构建模型。
Nemotron Personas 数据集
完全合成、隐私安全的用户角色基于现实世界的人口、地理和文化分布。作为 NVIDIA 日益扩展的全球 Sovereign AI 开发生态的一部分，该系列提供面向不同地区的专用数据集，目前已包含面向美国、日本和印度数据集。
Llama Nemotron VLM 数据集
高质量的后训练数据集，包括视觉问答 (VQA) 和光学字符识别 (OCR) 注释，可为出色的 Llama Nemotron Nano 视觉语言模型提供文档理解、查询和摘要功能。
Nemotron 安全数据集
精心策划的高质量数据集，旨在为多语言内容安全、高级策略推理和威胁感知 AI 提供支持，涵盖现代 AI 助手的审核数据和基于音频的安全信号。
Nemotron RL 数据集
使用为 Nemotron 提供支持的相同强化学习 (RL) 数据训练模型，包括跨编码、数学、推理和代理式任务的多回合轨迹、工具调用和偏好信号，以构建自适应、可靠的现实世界 AI。
Nemotron RAG 数据集
我们发布了 15 个精心策划的数据集 (涵盖指令遵循、推理、编码和评估数据) ，旨在加速开放研究和透明模型开发，从而为我们在排行榜上名列前茅的模型奠定基础。
开发者工具
NVIDIA TensorRT-LLM
TensorRT™ -LLM 是一个开源库，旨在为 NVIDIA GPU 上的 Nemotron 等大语言模型提供高性能的实时推理优化。此开源库位于 TensorRT-LLM GitHub 资源库包括模块化 Python 运行时、PyTorch 原生模型创作和稳定的生产 API。
开源框架
可以使用 Hugging Face transformers 等开源框架在各类平台上进行 Nemotron 模型的开发，也可以使用 vLLM 在所有受支持的平台上完成部署和生产级推理场景。
入门资源
借助高效的 NVIDIA Nemotron 3 Nano 准确性，为专用 AI 智能体提供支持，助力其完成目标任务
NVIDIA Nemotron 3 Nano 使用混合 Transformer-Mamba MoE 架构和可配置的思考预算，高效地提供先进的推理和代理功能，因此您可以调整准确性、吞吐量和成本，以满足您的实际需求。
如何使用新的 Nemotron 模型构建语音驱动的 RAG 智能体
获取分步指南，了解如何通过集成用于语音、RAG、安全和长上下文推理的 Nemotron 模型来构建语音驱动的 RAG 智能体。
Nemotron 3 Super：用于代理式推理的开放式混合式 Mamba-Transformer MoE
Nemotron 3 Super 是适用于大规模代理式 AI 的 Mamba+ Transformer MoE 混合模型，结合了潜在 MoE、多标记预测和 100 多万个标记上下文窗口，可实现更快、更可靠的长视界推理。原生 NVFP4 训练、多环境 RL 对齐以及完全开放的权重、数据集、方法和部署指南可帮助开发者快速构建和部署定制的智能体工作流。
入门套件
通过使用 NVIDIA Nemotron 模型为各种用例开发自定义智能体，开始解决 AI 挑战。探索实施脚本、解说员博客以及 AI 开发各个阶段的更多操作方法文档。
使用 Nemotron 构建报告生成智能体
该研讨会将指导开发者使用 NVIDIA Nemotron 和 LangGraph 构建报告生成智能体，重点关注 AI 智能体的四个核心注意事项：模型、工具、内存和状态以及路由。
可启动的 NVIDIA：构建智能体研讨会
学习路径：如何构建 AI 智能体
使用 Nemotron 构建 RAG 智能体
在此自主培训中，您将深入了解代理检索增强生成 (RAG) 的核心原则，包括 NVIDIA Nemotron 模型系列，并学习如何在可移植的一站式开发环境中使用 LangGraph 构建自己的定制、可共享的代理式 RAG 系统。
可启动的 NVIDIA：构建智能体研讨会
学习路径：如何构建智能体 RAG 应用
使用 Nemotron 构建 Bash 计算机使用智能体
在此自主培训中，深入了解代理式检索增强生成 (RAG) 的核心原则，包括 NVIDIA Nemotron 模型系列，并学习如何在可移植的一站式开发环境中使用 LangGraph 构建自己的定制、可共享的代理式 RAG 系统。
教程视频：在一小时内创建 Bash 智能体
Nemotron 3 Nano 30B A3B
以下资源准确概述了 NVIDIA 研究团队如何训练 NVIDIA Nemotron 3 Nano 模型。从预训练到最终模型检查点，所有内容都是开放的，供您使用和学习。
白皮书：Nemotron 3 白皮书
Nemotron 3 Super 120B A3B
以下资源概述了 NVIDIA 用于生成 Nemotron 3 Super 模型的过程。
使用 RAG 和 Nemotron 的安全护栏构建语音智能体
在本教程中，您将学习如何使用 Nemotron 模型构建具有安全护栏的语音驱动 RAG 智能体。最后，您的智能体将聆听语音输入，在您的数据中找到自己，在长上下文中进行推理，应用护栏，并将安全答案作为音频返回。
在推理服务提供商上运行 Nemotron 模型
运行、扩展和评估 Nemotron 模型，无需使用领先推理服务提供商的托管端点来管理基础设施。借助优化的性能和成本效益，跨云和数据中心环境快速试验、基准测试和部署模型。
专注于构建代理式 AI 应用，同时提供商处理优化的运行时、弹性扩展和生产就绪型部署路径，以便您可以更快地从原型设计过渡到生产。
可用提供商：
- Lightning
您还可以通过以下发现和访问渠道探索 Nemotron 模型的详细信息、文档和访问路径：
更多资源
伦理道德注意事项
NVIDIA 认为值得信赖的 AI 是一项共同的责任，我们制定了相关政策和实践，以支持各种 AI 应用的开发。根据我们的服务条款下载或使用此模型时，开发者应与其内部模型团队合作，确保此模型满足相关行业和用例的要求，并解决不可预见的产品滥用问题。
NVIDIA 与 Google DeepMind 合作，对 NVIDIA API Catalog 生成的视频进行了水印。
有关此模型道德因素的更多详细信息，请参阅系统卡、模型卡 可解释性、偏差、安全性和隐私子卡。请单击此处报告安全漏洞或 NVIDIA AI 问题。