Jetson 基准测试
Jetson 用于部署各种热门 DNN 模型、经过优化的 Transformer 模型和 ML 框架，以高性能推理部署到边缘，用于实时分类和物体检测、姿态估计、语义分割和自然语言处理 (NLP) 等任务。
MLPerf 推理基准测试
下表显示了 NVIDIA Jetson 提交至 MLPerf 推理边缘类别的推理基准测试。
Jetson AGX Orin MLPerf v4.0 结果
| 模型 | NVIDIA Jetson AGX Orin (TensorRT) | |
|---|---|---|
| 单流延迟 (毫秒) | 离线 (样本/秒) | |
| LLM 摘要 GPT-J 6B |
10204.46 | 0.15 |
| 图像生成 stable-diffusion-xl |
12941.92 | 0.08 |
- 完整结果请访问 v4.0 结果|MLCommons
- 这些结果基于运行 JetPack 5.1.1、TensorRT 9.0.1 和 CUDA 11.4 的 NVIDIA Jetson AGX Orin 开发者套件
- 以下链接中的代码可以重现这些 MLPerf 结果：https://github.com/mlcommons/inference_results_v4.0/tree/main/closed/NVIDIA
Jetson AGX Orin 和 Jetson Orin NX MLPerf v3.1 结果
| 模型 | NVIDIA Jetson AGX Orin (TensorRT) | NVIDIA Orin MaxQ (TensorRT) | NVIDIA Jetson Orin NX | NVIDIA Jetson Orin NX MaxQ | ||||
|---|---|---|---|---|---|---|---|---|
| 单流延迟 (毫秒) | 离线 (样本/秒) | 多流延迟 (毫秒) | 离线 (样本/秒) | 系统功率 (W) | 离线 (样本/秒) | 离线 (样本/秒) | 系统功率 (W) | |
| 图像分类 ResNet |
0.64 | 6423.63 | 2.18 | 3526.29 | 23.57 | 2640.51 | 1681.87 | 14.95 美元 |
| 目标检测 Retinanet |
11.67 | 148.71 | 82.92 | 74.71 | 22.27 | 66.5 | 47.59 | 15.57 |
| 医疗影像 3D-Unet-99.0 |
4371.46 | 0.51 | 不适用 | 不适用 | 不适用 | 0.2 | 0.19 | 22.04 |
| 语音转文本 RNN-T |
94.01 | 1169.98 | 不适用 | 不适用 | 不适用 | 431.92 | 327.79 | 17.25 |
| 自然语言处理 BERT |
5.71 | 553.69 | 不适用 | 不适用 | 不适用 | 194.5 | 136.59 | 17.04 |
- 完整结果请访问 v3.1 结果|MLCommons
- 这些结果使用 NVIDIA Jetson AGX Orin 开发者套件和运行 JetPack 5.1.1、TensorRT 8.5.2 和 CUDA 11.4 的 Orin NX 16GB A
- 以下链接中的代码可以重现这些 MLPerf 结果：https://github.com/mlcommons/inference_results_v3.1/tree/main/closed/NVIDIA
Jetson AGX Orin Jetson Orin NX MLPerf v3.0 结果
| 模型 | NVIDIA Jetson AGX Orin (TensorRT) | NVIDIA Orin MaxQ (TensorRT) | NVIDIA Jetson Orin NX | ||||
|---|---|---|---|---|---|---|---|
| 单流 (样本/秒) | 离线 (样本/秒) | 多流 (样本/秒) | 离线 (样本/秒) | 系统功率 (W) | 离线 (样本/秒) | ||
| 图像分类 ResNet-50 |
1538 | 6438.10 | 3686 | 3525.91 | 23.06 | 2517.99 | |
| 目标检测 Retinanet |
51.57 | 92.40 | 60.00 | 34.6 | 22.4 | 36.14 | |
| 医疗影像 3D-Unet |
.26 | 0.51 | 不适用 | 3.28 | 28.64 | .19 | |
| 语音转文本 RNN-T |
9.822 | 1170.23 | 不适用 | 14472 | 25.64 | 405.27 | |
| 自然语言处理 BERT |
144.36 | 544.24 | 不适用 | 3685.36 | 25.91 | 163.57 | |
- 可以在以下位置找到重现这些结果的步骤：v3.0 Results | MLCommons
- 这些结果得益于运行 TensorRT 8.5.0 预览版和 CUDA 11.4 的 NVIDIA Jetson AGX Orin 开发者套件
- 请注意，单流、离线和多流均使用不同的配置。如需了解更多详情，请参阅 MLCommons 页面
第一代 AI 基准测试
NVIDIA Jetson AI 实验室是一系列教程，展示了如何在 NVIDIA Jetson 上运行经过优化的模型，包括最新的生成式 AI 和 Transformer 模型。这些教程涵盖各种模型模式，如 LLM (适用于文本)、VLM (适用于文本和视觉数据)、ViT (视觉 Transformer)、图像生成和 ASR 或 TTS (适用于音频)。
大型语言模型 (LLM)
小型语言模型 (SLM)
视觉 Transformer (ViT)
Riva
- 完整结果请访问 Jetson AI 实验室基准测试