Posts by Brian Pharris
数据中心/云端
2026年 7月 10日
AI 模型协同设计:硬件友好型 LLM 设计
AI 性能可归结为三个维度: 部署必须平衡这三者:如果响应速度缓慢,就会浪费高准确度;如果每个用户的体验滞后,则原始吞吐量就意味着微不足道。
5 MIN READ
智能体/生成式 AI
2024年 11月 1日
NVSwitch 和 TensorRT-LLM MultiShot 共同加速 AllReduce 速度达 3 倍
在用户数量可能在数百到数十万之间波动,且输入序列长度随每个请求而变化的生产环境中,部署生成式 AI 工作负载会面临独特的挑战。
1 MIN READ
计算机视觉/视频分析
2022年 9月 8日
全栈创新为 NVIDIA 最高 MLPerf 推断 2.1 结果提供燃料
如今,人工智能驱动的应用程序正在实现更丰富的体验,这是由更大和更复杂的人工智能模型以及许多模型在管道中的应用所推动的。
4 MIN READ