Posts by Ganesh Kudleppanavar
数据中心/云端
2026年 7月 24日
ModelExpress:以光速分发模型伪影
每移动一个字节都会产生一定的成本。随着模型检查点数量增长到数百 GB 甚至一 TB,这一成本会迅速增加。更糟糕的是,
3 MIN READ
数据中心/云端
2025年 5月 6日
LLM 推理基准测试指南:NVIDIA GenAI-Perf 和 NIM
这是 LLM 基准测试系列 的第二篇文章,介绍了在使用 NVIDIA NIM 部署 Meta Llama 3 模型 时,
4 MIN READ
数据中心/云端
2024年 8月 1日
使用 NVIDIA GenAI-Perf 和 OpenAI 兼容 API 测量生成式 AI 模型性能
NVIDIA 提供 Perf Analyzer 和 Model Analyzer 等工具,帮助机器学习工程师测量和平衡延迟与吞吐量之间的权衡,
2 MIN READ