LLM Benchmarking

2025年 7月 7日

LLM 推理基准测试：使用 TensorRT-LLM 进行性能调优

这是大语言模型延迟 – 吞吐量基准测试系列的第三篇博文，旨在指导开发者如何使用 TensorRT-LLM 对 LLM 推理进行基准测试。
3 MIN READ
2025年 6月 18日

基准测试大型语言模型推理成本以实现更智能的扩展和部署

这是大语言模型延迟-吞吐量基准测试系列的第三篇博文，旨在指导开发者如何通过估算总体拥有成本 (TCO) 来确定 LLM 推理的成本。
3 MIN READ
2025年 6月 4日

NVIDIA Blackwell 在 MLPerf Training v5.0 中实现高达 2.6 倍的性能提升

创建先进的大语言模型 (LLM) 的过程始于预训练过程。预训练最先进的模型具有很高的计算要求，因为热门的开放权重模型具有数百亿到数千亿个参数，
3 MIN READ
2025年 6月 4日

重现 NVIDIA MLPerf v5.0 的 LLM 基准测试训练成绩

运行 NVIDIA 基准测试时，您的系统需要具备以下内容： 运行 NVIDIA MLPerf 训练基准测试需要：
4 MIN READ
2025年 5月 18日

宣布推出适用于基准测试 AI 云基础设施的 NVIDIA 示例云

长期以来，在云端训练 大语言模型 (LLMs) 和部署 AI 工作负载的开发者和企业一直面临着一项根本性挑战：
1 MIN READ
2025年 5月 6日

LLM 推理基准测试指南：NVIDIA GenAI-Perf 和 NIM

这是 LLM 基准测试系列 的第二篇文章，介绍了在使用 NVIDIA NIM 部署 Meta Llama 3 模型 时，
4 MIN READ
2025年 4月 24日

使用 NVIDIA NIM 对游戏进行代理式 LLM 和 VLM 推理基准测试

这是 LLM 基准测试系列的第一篇文章，介绍了在使用 NVIDIA NIM 部署 Meta Llama 3 模型时，
2 MIN READ