LLM 技术

2026年 7月 21日

在 NVIDIA GB300 NVL72 上进行 MoE 预训练创下世界纪录

前沿模型预训练已融合多专家模型 (MoE) ，这从根本上改变了对大规模 AI 训练的限制。随着每 token 的计算量下降，
3 MIN READ
2026年 7月 10日

借助主机卸载减少基于 JAX 的 LLM 训练中的高带宽内存瓶颈

在充分利用计算能力之前，大语言模型 (LLM) 训练工作负载越来越多地遇到 GPU 显存限制。模型权重、梯度、优化器状态、
3 MIN READ
2026年 7月 6日

使用 Noniform Tensor Parallelism 提高大规模 LLM 训练的效率

大规模训练 LLM 会带来独特的基础架构挑战，尤其是在作业跨越数千个 GPU 并长时间运行的情况下。这些作业运行的时间越长，
2 MIN READ
2026年 4月 23日

使用生成式 AI 辅助编码在 Kaggle 比赛中获胜

2026 年 3 月，三个 LLM 智能体生成了超过 60 万行代码，运行了 850 个实验，
3 MIN READ
2026年 4月 9日

使用约 30 行 Python 和 NVIDIA nvCOMP 降低检查点成本

训练 LLM 需要定期检查点。这些模型权重、优化器状态和梯度的完整快照将保存到存储中，以便在中断后恢复训练。在规模上，这些检查点变得庞大 (…
5 MIN READ
2026年 3月 25日

通过整合未充分利用的 GPU 工作负载，更大限度地提高 AI 基础设施吞吐量

在生产 Kubernetes 环境中，模型要求与 GPU 大小之间的差异导致效率低下。轻量级自动语音识别 (ASR) 或文本转语音…
3 MIN READ
2026年 3月 11日

隆重推出 Nemotron 3 Super：用于代理式推理的开放式混合式 Mamba-Transformer MoE

代理式 AI 系统需要具有专业深度的模型来自主解决密集的技术问题。它们必须在推理、编码和长上下文分析方面表现出色，同时保持足够的效率，
3 MIN READ
2026年 3月 9日

从解服务中移除猜测

部署和优化大语言模型 (LLM) 以实现高性能、经济高效的服务可能是一项艰巨的工程难题。任何给定工作负载 (例如硬件、并行和预填充/
3 MIN READ
2026年 2月 4日

如何使用 Nemotron 为 RAG 构建文档处理流程

如果您的 AI 智能体能够像读取文本文件一样轻松地即时解析复杂的 PDF、提取嵌套表格并“查看”图表中的数据，该怎么办？
3 MIN READ
2026年 2月 3日

在 JAX 和 XLA 中加速长上下文模型训练

大语言模型（LLM）的上下文窗口正在迅速扩展，近期的模型已支持128K、256K甚至更长的词元序列。然而，
3 MIN READ
2026年 1月 15日

如何使用合成数据和强化学习训练 AI 智能体执行命令行任务

如果您的计算机智能体能够学习新的命令行界面（CLI），并且在无需编写文件或自由输入 shell 命令的情况下也能安全操作，该怎么办？
3 MIN READ
2025年 12月 16日

使用 Skip Softmax 加速 NVIDIA TensorRT-LLM 中的长上下文推理

对于大规模部署 LLM 的机器学习工程师来说，这个等式既熟悉又无情：随着上下文长度的增加，注意力计算成本呈爆炸式增长。
4 MIN READ