Michael Iovine

Michael Iovine 是 NVIDIA 的高级软件工程师。他目前从事 TensorRT-LLM 的推理优化工作,并负责开发该框架的预测解码模块。他拥有加州理工学院计算机科学学士学位。

Posts by Michael Iovine

精选

使用 DFlash 预测解码,在 NVIDIA Blackwell 上将推理性能提升高达 15 倍

随着 AI 系统从单轮交互转向协调的多智能体工作流,低延迟 推理 成为越来越重要。自回归 LLM 按顺序生成 token, 2 MIN READ