Samkit Jain

Samkit Jain 是 NVIDIA 的高级深度学习性能架构师,专注于大规模优化生成式 AI 推理和系统的性能和能效。加入 NVIDIA 之前,Samkit 是英特尔的一名软件研究科学家,负责稀疏 AI 和图形分析加速器的硬件/ 软件联合设计。在他的职业生涯中,他从事堆栈的多个层级的工作,涵盖架构寻路、性能建模和 HPC 系统软件。他拥有明尼苏达大学 Twin Cities 分校的电气工程硕士学位。

Posts by Samkit Jain

数据中心/云端

共同设计 AI 模型注意力,实现快速的交互式长上下文推理

随着代理式和长上下文工作负载变得常见,上下文长度增加,注意力消耗更大比例的推理时间 (图 1) 。由于注意力现在主宰了成本, 6 MIN READ