Posts by Ryan McCormick
计算机视觉/视频分析
2026年 9月 9日
何时使用“编码-预填充-解码”解耦技术来加速多模态模型服务
编码 – 预填充 – 解码 (EPD) 分解是一种适用于多模态模型的推理优化技术,可将视觉编码器阶段与预填充和解码阶段分离开来。
4 MIN READ
数据科学
2023年 8月 30日
如何使用 NVIDIA Triton 和 Redis 构建分布式推理缓存
缓存与数组、符号或字符串一样是计算的基础。整个堆栈中的各种缓存层在您的 CPU 上挂起时保存来自内存的指令。
3 MIN READ