Ryan McCormick

Ryan McCormick 是一名高级软件工程师,在 NVIDIA 从事机器学习、系统软件和分布式系统的交叉工作。他负责开发可扩展和高性能的推理解决方案,目前专注于 Triton 推理服务器。他拥有宾厄姆顿大学计算机科学和数学学士学位。

Posts by Ryan McCormick

计算机视觉/视频分析

何时使用“编码-预填充-解码”解耦技术来加速多模态模型服务

编码 – 预填充 – 解码 (EPD) 分解是一种适用于多模态模型的推理优化技术,可将视觉编码器阶段与预填充和解码阶段分离开来。 4 MIN READ
数据科学

如何使用 NVIDIA Triton 和 Redis 构建分布式推理缓存

缓存与数组、符号或字符串一样是计算的基础。整个堆栈中的各种缓存层在您的 CPU 上挂起时保存来自内存的指令。 3 MIN READ