Timmy Liu

Timmy Liu 是 NVIDIA 的首席架构师。他喜欢从事硬件、软件和算法交叉领域的工作。他目前的工作重点是注意力机制,包括密集注意力、线性注意力和稀疏注意力。

Posts by Timmy Liu

数据中心/云端

共同设计稀疏注意力以实现高效的长上下文推理

代理式工作负载、长文档和大型代码库正在将上下文长度从数万个 token 推向数十万个 token。在这些长度下, 6 MIN READ