Rudy Pei

Rudy Pei 是 NVIDIA 的高级深度学习算法工程师，从事高效的大规模 LLM 推理。他的工作重点是 Dynamo 的 KV-awarerouter，负责开发路由和调度算法，以实现缓存感知、更低延迟和更好的资源利用率。他还使用 DynoSimand 合成工作负载生成技术，在现实集群验证之前评估现实条件下的路由理念。