Joseph Loftin

Joseph Loftin 是 NVIDIA TensorRT 团队的一名深度学习软件推理工程师。他的工作重点是通过图并行实现、编译器增强、分布式集合开发和专用内核来启用和优化多设备推理。他拥有佐治亚理工学院计算机科学硕士学位和路易斯安那州拉法叶大学电气工程学士学位。

Posts by Joseph Loftin

网络/通讯

借助 NVIDIA Dynamo-Triton 中的 NVIDIA TensorRT 多设备集成,简化跨多个 GPU 的模型服务

生成式 AI 对计算和内存的需求日益超出单个 GPU 的能力。NVIDIA TensorRT 多设备推理是一项新功能, 3 MIN READ
边缘计算

使用 NVIDIA TensorRT 和多设备推理支持,跨多个 GPU 扩展 AI 推理

生成式 AI 工作负载的显存和计算预算正迅速超出单个 GPU。对于构建媒体生成工作流的推理开发者而言, 4 MIN READ