NVIDIA Nemotron
NVIDIA Nemotron™ 是一系列最开放的模型，配备开放的权重、训练数据和方案，提供业内领先的效率和准确性，用于构建专用的 AI 代理。
NVIDIA Nemotron 模型
Nemotron 模型具有极高的透明度——这些模型所使用的训练数据和权重均在 Hugging Face 上公开，供开发者在投入生产前进行评估。描述重现这些模型所需步骤的技术报告也可免费获取。
Nemotron 模型在包括科学推理、高级数学、代码编写、函数调用、指令执行、光学字符识别等多个智能代理基准测试中表现出色，并且可以通过开放工具进一步调优以提升特定应用的准确性。
模型端点可以通过 vLLM、SGLang 和 llama.cpp 等开源框架轻松部署，也提供作为 NVIDIA NIM™ 微服务形式，方便在任何平台上进行部署。
这些模型针对各种平台进行了优化：
Nano 在边缘提供高成本效益。
Super 在单个 GPU 上平衡准确性和计算能力。
Ultra 专为数据中心级部署而设计。
此外，这些模型可提供高达 6 倍的吞吐量，使智能体能够更快地思考并生成更准确的响应，同时降低推理成本。
Nemotron Nano 2
吞吐量比主流的 80B 开放模型快 6 倍
借助新的思维预算功能，将 token 生成量降低高达 60%
非常适合需要实时响应的应用
适用于边缘和单一消费级 GPU 部署
Llama Nemotron Ultra
非常适合需要超高准确性的多智能体企业工作流程，例如客户服务自动化、供应链管理和 IT 安全
适用于数据中心规模的部署
NVIDIA Nemotron 数据集
Nemotron 数据集是专为提升大语言模型推理能力而设计的最大规模合成数据集之一。该集合包含超过 9 万亿个标记（tokens）的预训练和后训练数据，涵盖数学、代码、科学知识、函数调用、指令执行和多步骤推理任务。
生成、筛选和策划如此大规模的数据工作量极大。公开数据集使研究人员和开发者可以更透明地训练、微调和评估模型，从而加速模型的开发和部署。
开发者工具
NVIDIA TensorRT-LLM
TensorRT™-LLM 是一个开源库，旨在为 NVIDIA GPU 上的大型语言模型（如 Nemotron）提供高性能、实时推理优化。该开源库托管在 TensorRT-LLM GitHub 仓库，包含模块化的 Python 运行时环境、支持 PyTorch 原生模型创建的功能，以及稳定的生产环境 API。
入门资源
借助 NVIDIA Nemotron Nano 2 9B 实现高准确度推理，强效助力边缘 AI
NVIDIA Nemotron Nano 2 9B 采用 Transformer-Mamba 混合架构和可配置的思考预算，能够以领先的准确性和效率将推理能力引入边缘设备，因此您可以根据自己的实际需求，调整准确性、吞吐量和成本。
使用 NVIDIA Llama Nemotron Super 1.5 构建更准确、更高效的 AI 智能体
AI 智能体现在可以解决多步骤问题，编写生产级代码，并充当多个领域的通用助手。但为了充分发挥其潜力，这些系统需要先进的推理模型，而不会过于昂贵。
入门套件
通过使用 NVIDIA Nemotron 模型为下游用例开发自定义智能体，开始解决 AI 挑战。探索实施脚本、解说员博客以及 AI 开发各个阶段的更多操作方法文档。
Nemotron Nano 2 9B
以下资源准确概述了 NVIDIA 研究团队如何训练 NVIDIA Nemotron Nano 9B V2 模型。从预训练到最终模型检查点，所有内容都是开放的，可供您使用和学习。
Llama Nemotron Super 1.5 49B
以下资源概述了 NVIDIA 研究团队用于生产 Llama 3.3 Nemotron Super 49B V1.5 的流程。
更多资源
道德注意事项
NVIDIA 认为可信 AI 是一项共同责任，我们已制定相关政策和实践，以支持开发各种 AI 应用。根据我们的服务条款下载或使用此模型时，开发者应与其内部模型团队合作，确保此模型满足相关行业和用例的要求，并解决不可预见的产品滥用问题。
NVIDIA 与 Google DeepMind 合作，对 NVIDIA API Catalog 中生成的视频进行了水印。
有关此模型道德考虑因素的更多详细信息，请参阅系统卡，模型卡可解释性、偏差、安全性和隐私性子卡。请在此反馈安全漏洞或 NVIDIA AI 相关问题。