Sanjay Chatterjee

Sanjay Chatterjee 是 NVIDIA 的工程经理。他主要研究 GPU 计算基础设施,专注于 GPU 调度,以便在 Kubernetes 上扩展 AI 和 HPC 工作负载。他是开源 NVIDIA Grove 项目的创建者和架构师。此前,他曾参与过多个由 DoE/ DARPA 资助的先进技术项目,致力于设计首个百亿亿次级 (Exascale) 系统。他的兴趣领域包括新型编程模型、并行语言和运行时系统。

Posts by Sanjay Chatterjee

数据中心/云端

在 Kubernetes 上部署解 LLM 推理工作负载

随着大语言模型 (LLM) 推理工作负载的复杂性不断增加,单个单一的服务进程开始达到其极限。预填充和解码阶段具有截然不同的计算配置文件, 4 MIN READ
智能体/生成式 AI

使用 NVIDIA Grove 简化 Kubernetes 上的复杂 AI 推理

NVIDIA Dynamo 的新组件实现分布式推理的高效扩展 2 MIN READ