Sai Kishan Pampana

Sai Kishan Pampana 是 NVIDIA 的高级深度学习性能架构师,专注于优化 NVIDIAGPU 上深度学习基元的性能。他的工作涵盖推理和训练,尤其侧重于注意力机制,包括 GQA、MLA、GDN 和其他新兴变体。他在 NVIDIA GPU 上设计了经过优化的端到端流程,以跨现实工作负载扩展性能。他拥有加州大学圣地亚哥分校的计算机科学硕士学位。

Posts by Sai Kishan Pampana

数据中心/云端

共同设计 AI 模型注意力,实现快速的交互式长上下文推理

随着代理式和长上下文工作负载变得常见,上下文长度增加,注意力消耗更大比例的推理时间 (图 1) 。由于注意力现在主宰了成本, 6 MIN READ