Posts by Samkit Jain
数据中心/云端
2026年 7月 31日
共同设计 AI 模型注意力,实现快速的交互式长上下文推理
随着代理式和长上下文工作负载变得常见,上下文长度增加,注意力消耗更大比例的推理时间 (图 1) 。由于注意力现在主宰了成本,
6 MIN READ