Harshini Komali

Harshini Komali 是 NVIDIA 的系统软件工程师,从事 AIPerf 的研究,该技术用于衡量 LLM 推理系统的性能。她的工作涵盖数据集支持、指标和端点覆盖。她关心如何构建直观易用的软件。她拥有理科硕士学位。圣何塞州立大学软件工程专业的博士学位。

Posts by Harshini Komali

智能体/生成式 AI

借助 AIPerf 对 LLM 进行大规模基准测试推理

在系统上部署模型。启动后,提示得到响应。难题是:速度快吗? 直觉可能会引导您发送 curl 命令、手动滚动异步脚本或另一个一次性负载生成器。 3 MIN READ