Sungsoo Ha

Sungsoo Ha 是 NVIDIA 的高级深度学习算法工程师,主要负责 LLM 推理优化。他的主要技术兴趣是解服务、长上下文解码和 GPU 并行策略。Hedivers 提供 NVIDIA Dynamo 推理方案,并为 vLLM 和 SGLang 贡献了解码上下文并行性。加入 NVIDIA 之前,他在亚马逊云科技的 Amazon Q Developer 背后优化了代码编辑模型的运行时推理。Sungsoo 拥有石溪大学计算机科学博士学位。

Posts by Sungsoo Ha

智能体/生成式 AI

全栈 NIM 优化如何在 Nemotron 3 Ultra 上为用户提供 2.5 倍的提升

部署大语言模型只是实现生产就绪型服务的第一步。制作团队还需要在可用的 GPU 基础架构上为尽可能多的并发用户提供服务, 2 MIN READ