Jeff Farris

Jeff Farris 是 NVIDIA Nemotron 数据、扩展和评估团队的首席研究员。他开发了使用早期训练信号来预测模型能力并指导数据和训练决策的评估方法。HECO 开发的 SWE-Service 是一种基准测试,用于评估 AI 编码智能体在真实推理服务任务中的表现。加入 NVIDIA 之前,他曾在亚马逊云科技和美国领导自动语音识别模型开发和 AI 系统的大规模部署。政府。

Posts by Jeff Farris

数据科学

SWE-Serve 如何揭示本地测试与实时服务之间的差距

当服务器加载真实模型并处理请求时,AI 编码代理的补丁可能会通过测试,但却失败。因此,评估对推理服务软件的更改需要检查完整的服务路径, 2 MIN READ