Anthony Casagrande

Anthony Casagrande 是 NVIDIA 的高级系统软件工程师,也是 NVIDIA 的生成式 AI 推理基准测试工具 AIPerf 的技术主管。他专门测量大规模推理性能,从单 GPU 运行到 NVIDIA Dynamo 和其他推理服务器的多节点 Kubernetes 部署。他专注于镜像生产的工作负载,而测量团队可以信任和重现。在加入 NVIDIA 之前,Anthony 曾在 Intel on Edge AI 和 RFID 工作。他拥有学士学位。来自亚利桑那州立大学的嵌入式计算机系统。

Posts by Anthony Casagrande

智能体/生成式 AI

借助 AIPerf 对 LLM 进行大规模基准测试推理

在系统上部署模型。启动后,提示得到响应。难题是:速度快吗? 直觉可能会引导您发送 curl 命令、手动滚动异步脚本或另一个一次性负载生成器。 3 MIN READ