Zhihan Jiang

Jiang Zhihan Jiang 是 NVIDIA TensorRT 团队的高级系统软件工程师,专注于在 MLPerf 推断中提供世界级的推理结果。在从事 MLPerf 工作之前,他从事 TensorRT 自主安全库和基础设施,以及 NVIDIA CPU 架构建模。 Zhihan 拥有斯坦福大学电气工程硕士学位和佐治亚理工大学计算机工程学士学位。

Posts by Zhihan Jiang

智能体/生成式 AI

TensorRT Edge-LLM 在 Jetson AGX Thor 上实现 MLPerf Edge Agentic Benchmark 6.4 倍加速

AI 智能体正从云数据中心转向车辆、机器人和其他边缘设备。与只回答单个提示的聊天机器人不同,智能体需要执行一系列步骤。它会选择工具、评估结果, 2 MIN READ
精选

NVIDIA Extreme Co-Design 带来 MLPerf 推理新纪录

共同设计的硬件、软件和模型是提供更高 AI 工厂吞吐量和更低词元成本的关键。测量这一点远远超出了峰值芯片规格。 3 MIN READ
AI 平台/部署

NVIDIA Blackwell Ultra 首次亮相 MLPerf 完成推理新纪录

随着大语言模型(LLM)规模的不断扩大,其智能水平也显著提升,领先开发者推出的开放模型已具备数千亿参数。与此同时, 3 MIN READ
数据中心/云端

NVIDIA Blackwell 在 MLPerf Inference v5.0 中实现巨大的性能飞跃

在不断增长的模型大小、实时延迟要求以及最近的 AI 推理的推动下, 大语言模型 (LLM) 推理的计算需求正在快速增长。与此同时, 3 MIN READ
数据中心/云端

NVIDIA Blackwell 平台在 MLPerf Inference v4.1 中创下新的 LLM 推理记录

大型语言模型 (LLM) 推理是一项全栈挑战。实现高吞吐量、低延迟推理需要强大的 GPU、高带宽 GPU 之间的互连、 4 MIN READ
数据中心/云端

NVIDIA H200 Tensor Core GPU 和 NVIDIA TensorRT-LLM 集 MLPerf LLM 推理记录

随着生成式 AI 模型的持续创新,生成式 AI 在计算应用方面取得了巨大进步,从而大幅增强人类能力。这些模型包括 生成式 AI 模型, 3 MIN READ