TensorRT-LLM

2026年 1月 27日

使用 NVIDIA TensorRT LLM 部署 MiniMax M2/M2.1 稀疏 MoE 大模型

MiniMax M2/M2.1 是一款面向 Agents 和 Coding 工作流的开源稀疏 MoE 模型，在工具调用、
2 MIN READ
2026年 1月 22日

在 NVIDIA Blackwell 数据中心 GPU 上实现 FLUX.2 的 NVFP4 推理扩展

2025 年，NVIDIA 与 Black Forest Labs (BFL) 合作优化 FLUX.1 文本转图像模型系列，
3 MIN READ
2026年 1月 8日

借助 NVIDIA Blackwell 实现多专家模型推理的巨大性能飞跃

随着 AI 模型持续变得更加智能，人们能够依赖它们完成日益增多的任务。这导致用户（从消费者到企业）与 AI 的交互愈发频繁，
2 MIN READ
2026年 1月 8日

NVIDIA TensorRT Edge-LLM 加速汽车与机器人领域的 LLM 和 VLM 推理

大语言模型（LLM）与多模态推理系统正迅速突破数据中心的局限。越来越多的汽车与机器人领域的开发者希望将对话式 AI 智能体、
2 MIN READ
2025年 12月 16日

塑造 2025 年的 AI 工厂、物理 AI 以及模型、智能体和基础设施的进步

对于使用 NVIDIA 技术的开发者和研究人员而言，2025 年是又一个具有里程碑意义的年份。在数据中心功耗与计算设计、AI 基础设施、
3 MIN READ
2025年 12月 16日

使用 Skip Softmax 加速 NVIDIA TensorRT-LLM 中的长上下文推理

对于大规模部署 LLM 的机器学习工程师来说，这个等式既熟悉又无情：随着上下文长度的增加，注意力计算成本呈爆炸式增长。
4 MIN READ
2025年 12月 2日

NVIDIA 加速的 Mistral 3 开源模型，实现多规模下的高效与精准

新的 Mistral 3 开放模型系列为开发者和企业提供了卓越的准确性、高效的性能以及灵活的定制功能。
3 MIN READ
2025年 11月 10日

如何将数学问题的推理速度提升 4 倍

大语言模型能够解决具有挑战性的数学问题。然而，若要实现其大规模高效运行，仅依靠一个强大的模型检查点还远远不够。
3 MIN READ
2025年 10月 28日

释放算力潜能：TensorRT LLM ADP 平衡策略让推理吞吐量再提升 33%

在 DeepSeek MLA + MoE 架构下，在最大吞吐量场景中，通常采用注意力数据并行 (Attention Data…
3 MIN READ
2025年 10月 20日

在 NVL72 机架级系统上使用 Wide Expert Parallelism 扩展大型 MoE 模型

现代 AI 工作负载已远超单 GPU 推理服务的能力范围。模型并行技术通过在多个 GPU 之间高效划分计算任务，
3 MIN READ
2025年 10月 16日

NVIDIA Blackwell 在 SemiAnalysis InferenceMAX v1 基准测试中取得领先表现

SemiAnalysis 近期推出了 InferenceMAX v1，这是一项全新的开源计划，旨在提供一套全面评估推理硬件性能的方法。
3 MIN READ
2025年 9月 22日

DeepSeek R1 MTP 在 TensorRT-LLM 中的实现与优化

TensorRT-LLM 在 NVIDIA Blackwell GPU 上创下了 DeepSeek-R1 推理性能的世界纪录，
5 MIN READ
2025年 9月 22日

扩展 TensorRT-LLM 中的专家并行度：大规模 EP 的设计与实现

DeepSeek-V3 / R1 等模型采用大规模细粒度混合专家模型 (MoE) 架构，大幅提升了开源模型的质量。
10 MIN READ
2025年 9月 17日

用于降低 AI 推理延迟的预测性解码简介

使用大语言模型（LLM）生成文本时，通常会面临一个基本瓶颈。尽管 GPU 能够提供强大的计算能力，但由于自回归生成本质上是顺序进行的，
2 MIN READ
2025年 8月 26日

TensorRT-LLM 中的分离式服务

在之前的技术博客中，我们介绍了低延迟和高吞吐场景的优化方法。对于生产部署，用户还关心在满足特定延迟约束的情况下，每个 GPU 的吞吐表现。
3 MIN READ
2025年 8月 22日

NVIDIA 硬件创新和开源贡献正在塑造 AI

Cosmos、DeepSeek、Gemma、GPT-OSS、Llama、Nemotron、Phi、
2 MIN READ