Posts by TJ Xu
智能体/生成式 AI
2026年 2月 3日
在 JAX 和 XLA 中加速长上下文模型训练
大语言模型(LLM)的上下文窗口正在迅速扩展,近期的模型已支持128K、256K甚至更长的词元序列。然而,
3 MIN READ
数据中心/云端
2025年 7月 18日
使用 JAX 和 XLA 优化推理工作负载的低延迟通信
在生产环境中使用大语言模型 (LLM) 进行推理需要满足严格的延迟限制。此过程的关键阶段是 LLM 解码,
2 MIN READ