Matthew Kotila

Matthew Kotila 是 NVIDIA 的高级系统软件工程师,负责开发 LLM 基准测试工具 AIPerf。他关心提供出色的用户体验,并与同行合作解决问题。他拥有加州大学戴维斯分校的计算机科学硕士学位和学士学位。

Posts by Matthew Kotila

智能体/生成式 AI

借助 AIPerf 对 LLM 进行大规模基准测试推理

在系统上部署模型。启动后,提示得到响应。难题是:速度快吗? 直觉可能会引导您发送 curl 命令、手动滚动异步脚本或另一个一次性负载生成器。 3 MIN READ