TensorRT-LLM

2026年 7月 10日

AI 模型协同设计：硬件友好型 LLM 设计

AI 性能可归结为三个维度： 部署必须平衡这三者：如果响应速度缓慢，就会浪费高准确度；如果每个用户的体验滞后，则原始吞吐量就意味着微不足道。
5 MIN READ
2026年 7月 2日

基于硬件的 AI 安全性不会拖慢您的速度

AI 改变了组织的运营方式，推动了前所未有的生产力和创新水平。但是，数据隐私、主权以及如何保护使用中的数据，
2 MIN READ
2026年 6月 23日

通过全栈推理和训练优化，更大限度地提高 AI 工厂的能效

为运行 AI 工厂，电力成本可占运营支出（OpEx）的 40%。每瓦可用于开销、数据摄取、训练，或为客户生成 token。
2 MIN READ
2026年 6月 23日

使用 DFlash 预测解码，在 NVIDIA Blackwell 上将推理性能提升高达 15 倍

随着 AI 系统从单轮交互转向协调的多智能体工作流，低延迟 推理 成为越来越重要。自回归 LLM 按顺序生成 token，
2 MIN READ
2026年 6月 12日

NVIDIA 在首个代理式 AI 基准测试中实现了领先的代理式编码性能

AI 智能体从根本上改变了推理工作负载的复杂性。到目前为止，业界一直在努力定义用于衡量推理系统在这些条件下的性能的标准。
2 MIN READ
2026年 6月 12日

在 NVIDIA 加速基础设施上使用 MiniMax M3 部署长上下文推理和代理式工作流

随着企业 AI 采用的规模扩大，开发者越来越多地不得不将分散的工作流拼接在一起，即分别用于文本、视觉和代码的模型，从而导致复杂性增加、
1 MIN READ
2026年 6月 9日

模型量化：借助 NVIDIA TensorRT 将 FP8 检查点转变为高性能推理引擎

将量化检查点转换为 NVIDIA TensorRT 引擎可以弥合模型优化与生产部署之间的差距，从而实现更快的推理速度、
4 MIN READ
2026年 5月 5日

如何借助 NVIDIA 构建云端协同的座舱 AI 智能体

汽车座舱正在经历一场根本性的变革：从基于规则的传统交互界面，转向具备推理、规划和执行能力的代理式多模态 AI 系统。
2 MIN READ
2026年 3月 9日

从解服务中移除猜测

部署和优化大语言模型 (LLM) 以实现高性能、经济高效的服务可能是一项艰巨的工程难题。任何给定工作负载 (例如硬件、并行和预填充/
3 MIN READ
2025年 12月 16日

使用 Skip Softmax 加速 NVIDIA TensorRT-LLM 中的长上下文推理

对于大规模部署 LLM 的机器学习工程师来说，这个等式既熟悉又无情：随着上下文长度的增加，注意力计算成本呈爆炸式增长。
4 MIN READ
2025年 5月 2日

借助 NVIDIA 在生产应用中集成和部署 Tongyi Qwen3 模型

阿里巴巴近期发布了其开源的混合推理大语言模型（LLM）通义千问 Qwen3，此次 Qwen3 开源模型系列包含两款混合专家模型 (MoE)…
3 MIN READ