Schwinn Saereesitthipitak

Schwinn Saereesitthipitak 是 NVIDIA 的一名软件工程师,专门研究大规模分布式推理系统。他的工作将整个推理堆栈的研究和工程联系起来,以大规模实现生产工作负载的弹性和弹性。

Posts by Schwinn Saereesitthipitak

精选

NVIDIA Dynamo Snapshot:面向 Kubernetes 上推理工作负载的快速启动

在生产环境中的推理部署里,需求会随时间波动,因此推理副本需要弹性扩缩容。然而,在 Kubernetes 上冷启动推理工作负载可能需要几分钟。 4 MIN READ