Benjamin Chislett

Benjamin Chislett 是 NVIDIA 的高级软件工程师,也是 vLLM 推理引擎的维护人员。他致力于研究用于 LLM 推理的预测解码算法和性能优化。

Posts by Benjamin Chislett

精选

使用 DFlash 预测解码,在 NVIDIA Blackwell 上将推理性能提升高达 15 倍

随着 AI 系统从单轮交互转向协调的多智能体工作流,低延迟 推理 成为越来越重要。自回归 LLM 按顺序生成 token, 2 MIN READ