Byungsoo Jeon

Byungsoo Jeon 是 NVIDIA TensorRTcompiler 后端团队的高级系统软件工程师,专门研究适用于 LLM 的高性能分布式 ML 系统。他的专业知识涵盖 ML 编译器优化、多 GPU 并行、运算符融合以及训练和推理方面的自定义 GPU 内核开发。Byungsoo 拥有卡耐基梅隆大学计算机科学博士学位,他的论文侧重于自动化和便携式机器学习系统。

Posts by Byungsoo Jeon

网络/通讯

借助 NVIDIA Dynamo-Triton 中的 NVIDIA TensorRT 多设备集成,简化跨多个 GPU 的模型服务

生成式 AI 对计算和内存的需求日益超出单个 GPU 的能力。NVIDIA TensorRT 多设备推理是一项新功能, 3 MIN READ
边缘计算

使用 NVIDIA TensorRT 和多设备推理支持,跨多个 GPU 扩展 AI 推理

生成式 AI 工作负载的显存和计算预算正迅速超出单个 GPU。对于构建媒体生成工作流的推理开发者而言, 4 MIN READ