AI 推理

2026年 4月 1日

使用统一服务和实时 AI 加速 AI 工厂的词元生产

在当今的 AI 工厂环境中，性能并不是理论性的。它是经济、竞争和生存的。可用 GPU 时间每减少 1%，就意味着每小时损失数百万词元。
2 MIN READ
2026年 3月 23日

在 Kubernetes 上部署解 LLM 推理工作负载

随着大语言模型 (LLM) 推理工作负载的复杂性不断增加，单个单一的服务进程开始达到其极限。预填充和解码阶段具有截然不同的计算配置文件，
4 MIN READ
2026年 2月 25日

借助 NVIDIA Blackwell Ultra 提升 Softmax 的效率

LLM 上下文长度呈爆炸式增长，架构正朝着更复杂的注意力机制发展，例如多头潜在注意力（MLA）和分组查询注意力（GQA）。因此，
2 MIN READ
2026年 2月 18日

在 NVIDIA Run:ai 中利用 GPU 解锁大规模 Token 吞吐能力

随着 AI 工作负载的扩展，实现高吞吐量、高效资源利用和可预测的延迟变得愈发关键。 NVIDIA Run:ai 通过智能调度和动态 GPU…
4 MIN READ
2026年 2月 9日

借助 NVIDIA TensorRT LLM AutoDeploy 实现推理优化自动化

NVIDIA TensorRT LLM 使开发者能够为大语言模型 (LLM) 构建高性能推理引擎，但传统上部署新架构往往需要大量手动工作。
3 MIN READ
2026年 1月 26日

NVIDIA TensorRT for RTX 中的自适应推理可实现自动优化

传统上，在各种消费级硬件中部署 AI 应用需要进行权衡。可以针对特定 GPU 配置进行优化，以牺牲便携性为代价来提升性能；
3 MIN READ
2026年 1月 22日

在 NVIDIA Blackwell 数据中心 GPU 上实现 FLUX.2 的 NVFP4 推理扩展

2025 年，NVIDIA 与 Black Forest Labs (BFL) 合作优化 FLUX.1 文本转图像模型系列，
3 MIN READ
2026年 1月 8日

NVIDIA TensorRT Edge-LLM 加速汽车与机器人领域的 LLM 和 VLM 推理

大语言模型（LLM）与多模态推理系统正迅速突破数据中心的局限。越来越多的汽车与机器人领域的开发者希望将对话式 AI 智能体、
2 MIN READ
2026年 1月 6日

NVIDIA BlueField-4 赋能的推理上下文记忆存储平台，引领 AI 迈向新前沿

随着代理式 AI 工作流将上下文窗口扩展到数百万个 token，并将模型规模扩展到数百万亿个参数，AI 原生企业正面临着越来越多的扩展挑战。
1 MIN READ
2025年 12月 16日

使用 Skip Softmax 加速 NVIDIA TensorRT-LLM 中的长上下文推理

对于大规模部署 LLM 的机器学习工程师来说，这个等式既熟悉又无情：随着上下文长度的增加，注意力计算成本呈爆炸式增长。
4 MIN READ
2020年 10月 21日

使用全栈方法赢得 MLPerf Inference 0.7

三个趋势继续推动着人工智能推理市场的训练和推理：不断增长的数据集，日益复杂和多样化的网络，以及实时人工智能服务。 MLPerf 推断 0 .
2 MIN READ