JetPack SDK


NVIDIA JetPack SDK 为 Jetson 模组提供支持，是构建端到端加速 AI 应用程序的全面解决方案，可显著缩短上市时间。

NVIDIA JetPack 包含 3 个组件：

Jetson Linux：一个包含启动加载程序、Linux 内核、Ubuntu 桌面环境、 NVIDIA 驱动、工具链等的板级支持包 (BSP)。它还包括安全性和 Over-The-Air (OTA) 功能。

Jetson AI 堆栈：CUDA 加速 AI 堆栈，包括用于加速 GPU 计算、多媒体、图形和计算机视觉的完整库。它支持应用程序框架，例如 Metropolis 构建、部署和扩展视觉 AI 应用，Isaac 用于构建高性能机器人应用程序和 Holoscan 构建高性能计算应用程序 (HPC)，从边缘到云端提供实时见解和传感器处理功能。

Jetson 平台服务：一系列即用型服务，用于在 Jetson 上加速 AI 应用程序开发。

JetPack 6

JetPack 6 是有史以来最大的升级。它不仅带来了更新的内核和更新的 Ubuntu 根文件系统，还包括 Jetson 上从未出现过的新功能。JetPack 6 带来了运行任何 Linux 内核的灵活性，并提供基于 Jetson 生态系统合作伙伴的更广泛的 Linux 发行版选择。它还具有更新 Jetson AI 堆栈而不更新 Jetson Linux BSP 的灵活性。

JetPack 6.2

JetPack 6.2 是 JetPack 6 的最新生产版本。此版本包括 Jetson Linux 36.4.3，其中包含基于 Linux 内核 5.15 的 Ubuntu 22.04 的根文件系统。JetPack 6.2 中包含的 Jetson AI 堆栈包括 CUDA 12.6、TensorRT 10.3、cuDNN 9.3、VPI 3.2、DLA 3.1 和 DLFW 24.0、JetPack 6.2 为 NVIDIA Jetson Orin Nano 和 Jetson Orin NX 生产模组提供新的高功率 Super 模式。借助 Super Modes，Jetson Orin NX 系列可将 AI TOPS 提升高达 70%，同时 Jetson Orin Nano 系列可将 AI TOPS 提升 50%，并将显存带宽提升 50%。性能的提升使 Jetson Orin 模块的生成式 AI 推理性能提升高达 2 倍。如需详细了解 JetPack 6.2 带来的性能提升，请查看我们最新发布的博客。

注意：要在 Jetson Linux 36.3 上使用 JetPack 6.2 的计算堆栈，请参阅 NVIDIA JetPack SDK 文档。

安装 JetPack

适用于 Jetson Orin Nano 开发者套件的 SD 卡镜像方法


NVIDIA SDK Manager 方法
Debian 软件包方法

JetPack 可以使用在 Jetson 上运行的 Debian 软件包管理工具进行安装或升级。 NVIDIA 还为所有 JetPack 组件提供运行时和开发 Debian 软件包。运行时包不包括示例和文档，而开发包包括这些示例和文档，用于开发。用户可以在 Jetson Linux 上安装完整的 JetPack 或仅运行时 JetPack 组件。

请参阅用于说明的 JetPack 文档列在我们托管的 Debian 软件包列表中。至 在 Jetson Linux 36.4 上安装 Jetpack，您只需要“apt install NVIDIA -jetpack

更多资源

JetPack 6.2 的主要特性

Jetson Linux

NVIDIA Jetson Linux 36.4.3 提供基于 UEFI 的 Linux 内核 5.15 引导加载程序、基于 Ubuntu 22.04 的根文件系统、 NVIDIA 驱动、必要固件 工具链和更多内容。

JetPack 6.2 包含 Jetson Linux 36.4.3，具有以下亮点：
(请参阅版本说明获取更多详细信息)

  • 支持新的参考功率模式 Jetson Orin Nano 和Jetson Orin NX 生产模块可提供高达 2 倍的生成式 AI 性能 (适用于新的闪存配置)
    • NVIDIA Jetson Orin Nano 4GB：现已支持 10W、25W 和 MAXN SUPER
    • NVIDIA Jetson Orin Nano 8GB：现已支持 15W、25W 和 MAXN SUPER
    • NVIDIA Jetson Orin NX 8GB：现已支持 10W、15W、20W、40W 和 MAXN SUPER
    • NVIDIA Jetson Orin NX 16GB：现已支持 10W、15W、25W、40W 和 MAXN SUPER
  • CVE 和小问题修复

注意：MAXN SUPER 是一种无上限功率模式，可为 CPU、GPU、DLA、PVA 和 SOC 引擎提供更高的核心数量和时钟频率。如果总模块功率超过此模式中的散热设计功率 (TDP) 预算，则模块会降低频率，从而在满足散热预算的同时提供较低的性能。建议您构建自己的自定义电源模式，以便为您的应用程序和需求找到合适的功耗 (或散热稳定性) 和性能之间的平衡。

Jetson 平台服务

Jetson 平台服务是一个包含预构建和云原生软件服务和参考工作流程的集合，用于在 Jetson 上加速 AI 应用。这些服务是模块化的，由 API 驱动，并且可以快速配置，以构建生成式 AI 和其他边缘应用。提供 15 多种服务，从 AI 服务到系统服务。服务包括：

  • 使用 DeepStream 的 AI 感知服务
  • 适用于视觉语言模型 (VLM) 的 AI 推理服务
  • AI 分析 – 处理元数据以获得时间序列见解
  • 使用 VST 进行传感器管理和存储
  • Redis 消息总线
  • API 和 IoT 网关

为演示这些服务的功能，包括以下参考工作流程：

  • AI-NVR – 适用于基于 AI 的网络视频记录器的完整工作流程
  • 用于警报和视觉聊天的生成式 AI 工作流程
  • 适用于零样本检测的生成式 AI 工作流程。

JetPack 6.2 支持 Jetson 平台服务 2.0。

Jetson 上的 Linux 发行版

JetPack 包括开箱即用的 Jetson Linux，但 Jetson 生态系统合作伙伴提供基于 Linux 的各种发行版。其中包括：

Canonical Ubuntu：Canonical 提供的 Ubuntu 22.04、请参阅 webinar 详细了解 Canonical 在 Jetson 上提供的产品。

红帽：由 Red Hat 提供的 Red Hat Enterprise Linux 9.4

Windriver Linux： 来自 Windriver 的商用嵌入式 Linux 操作系统。

SUSE： 由 SUSE 提供的 SUSE Linux Enterprise Server (SLES)。

RedHawk：来自 Concurrent Real-Time 的实时 Linux 操作系统，用于任务 至关重要的硬件实时应用程序。

基于 Yocto 的发行版：各种基于 Yocto 的发行版和服务，meta-tegra 由 NVIDIA 提供 生态系统合作伙伴，如 Balena, Foundries.io & TimeSys。

TensorRT

TensorRT 是一种高性能深度学习推理运行时， 图像分类、分割和物体检测神经网络。TensorRT 是 在 CUDA ( NVIDIA 的并行编程模型) 上运行，并且允许您优化所有 深度学习框架。它包括深度学习推理优化器和运行时 为深度学习推理应用提供低延迟和高吞吐量。

JetPack 6.2 包括 TensorRT 10.3.0

DLA

NVIDIA DLA 硬件是 针对深度学习运算的固定功能加速器引擎。它旨在 完全硬件加速的卷积神经网络，支持各种层 卷积、反卷积、全连接、激活、池化、批量归一化 以及其他

DLA 软件包括 DLA 编译器和 DLA 运行时堆栈。离线编译器 将神经网络图形转换为可加载的 DLA 二进制文件，并可通过 NVIDIA TensorRT™。运行时堆栈由 DLA 固件、内核模式驱动程序和 用户模式驱动。

JetPack 6.2 包括 DLA 3.14

cuDNN

CUDA 深度神经网络 提供高性能基元 适用于深度学习框架。它为标准例程提供了高度调整的实现 例如前向和反向卷积、池化层、归一化层和激活层。

JetPack 6.2 包括 cuDNN 9.3.0

CUDA

CUDA 工具包为 C 和 C++开发者提供全面的开发环境 构建 GPU 加速应用程序。该工具包包括适用于 NVIDIA GPU 的编译器、 库和工具，用于调试和优化您的应用程序的性能。

JetPack 6.2 包括 CUDA 12.6.10

多媒体 API

NVIDIA Omniverse 平台 Jetson 多媒体 API 提供用于灵活应用开发的低级别 API。

摄像头应用程序 API：libargus 提供适用于摄像头的低级别帧同步 API 应用程序，具有每帧摄像头参数控制、多个 (包括同步) 摄像头支持和 EGL 流输出。需要 ISP 的 RAW 输出 CSI 摄像头可与 libargus 或 GStreamer 插件。无论如何，V4L2 媒体控制器传感器驱动程序 使用 API。

传感器驱动 API：V4L2 API 支持视频解码、编码、格式转换和缩放 功能。用于编码的 V4L2 开启了许多功能，例如比特率控制、质量 预设、低延迟编码、时间权衡、运动矢量贴图等。

计算机视觉

VPI (视觉编程接口) 是一个软件库， 提供在多个硬件上实施的计算机视觉/图像处理算法 Jetson 上的加速器，例如 PVA (可编程视觉加速器)、GPU、 NVDEC ( NVIDIA 解码器)、NVENC ( NVIDIA 编码器)、VIC (视频图像合成器) 等。

JetPack 6.2 包括 VPI 3.2 以下亮点：

  • 新算法：
    • AprilTag 检测器和姿态估计器支持 PVA 和 CPU 后端。
    • 动态重新映射为通用几何转换提供 CUDA 后端支持。
    • 递归高斯滤波器在 CPU 和 CUDA 后端提供支持，与用于大 sigma 的卷积 Gauss 滤波器相比，可提供更出色的性能
  • 新增PVA 后端支持以下算法：
    • 混合通道
    • 裁剪放大器
    • ORB 特征检测器(仅适用于描述符提取器)。
    • Pyramidal LK 光流
  • PVA 后端速度提升高达 5 倍

图形

JetPack 6.2 包括以下图形库：

  • Vulkan® 1.3
  • Vulkan® SC 1.0
    • Vulkan SC 是基于 Vulkan 1.2 的低级、确定性、可靠的 API。 此 API 支持先进的 GPU 加速图形和计算， 可以部署在安全至上的系统中，并且经过认证，可以满足 行业功能安全标准。请参阅 https://www.khronos.org/vulkansc/ 了解更多信息。
    • Vulkan SC 还非常有用于实时非关键型嵌入式系统 应用程序。Vulkan SC 通过 将运行时应用程序环境的准备从离线或 应尽可能集成到应用程序设置中。这包括离线编译 图形管线，它们定义 GPU 如何处理数据，以及 静态内存分配，这两者共同启用了详细的 GPU 控制， 严格规定和测试。
    • Vulkan SC 1.0 是从 Vulkan 1.2 演变而来，包括： 在安全关键型市场中不需要的功能、更新的设计 以提供可预测的执行时间和结果，并删除 操作可能存在的潜在不确定性。有关更多详情，请参阅 https://www.khronos.org/blog/vulkan-sc-overview
    • 注意事项：Jetson 对 Vulkan SC 的支持不是安全认证。
  • OpenWF™ 显示器 1.0
    • OpenWF Display 是一种 Khronos API，用于与原生应用进行低延迟交互 Jetson 上的显示驱动程序，并允许与 Vulkan SC 进行交互，以显示 图像。
    • 注意事项：Jetson 支持 OpenWF 显示器不是安全认证。
  • OpenGL 4.6
    • OpenGL (开放图形库) 是一种跨语言、跨平台的应用程序编程接口 (API)，用于渲染 2D 和 3D 矢量图形。API 通常用于与图形处理单元 (GPU) 交互，以实现硬件加速渲染。
  • OpenGLES 3.2
    • OpenGLES 是一种跨平台 API，用于在嵌入式系统和移动系统 (包括游戏机、手机、设备和车辆) 上渲染高级 2D 和 3D 图形。它包含适用于低功耗设备的易于定义的桌面 OpenGL 子集，并在软件和图形加速硬件之间提供灵活且强大的接口。
  • GLX 1.4
    • GLX (“OpenGL Extension to the X Window System”的缩写) 是 X Window System 核心协议的扩展，可在 OpenGL 和 X Window System 之间提供接口，以及对 OpenGL 本身的扩展。它允许希望使用 OpenGL 的程序在 X Window System 提供的窗口中进行操作。
  • EGL 1.5
    • 嵌入式图形库 (EGL) 是 Khronos 渲染 API (如 OpenGL ES) 与底层原生平台窗口系统之间的接口。它负责图形上下文管理、表面/缓冲区绑定、渲染同步，并使用其他 Khronos API 实现高性能、加速的混合模式 2D 和 3D 渲染。

Nsight 开发者工具

CUDA 工具包为 C 和 C++开发者提供全面的开发环境 使用 CUDA 库构建高性能 GPU 加速应用程序。工具包 包括 Nsight Visual Studio Code Edition, Nsight Eclipse 插件、调试和分析工具，包括 Nsight Compute， 以及用于交叉编译应用程序的工具链

NVIDIA Nsight 系统是一款低延迟的系统级分析工具，可提供 开发者需要分析和优化软件性能。

NVIDIA Nsight 图形是一款用于调试和分析图形的独立应用程序 应用程序。

NVIDIA Nsight 深度 学习设计器是一个集成开发环境，可帮助开发者 高效设计和开发用于应用内推理的深度神经网络。

NVIDIA Nsight 性能 SDK 是一个适用于 Vulkan 和 OpenGL 的图形分析工具箱， 直接从用户应用程序获取 GPU 性能指标集合。

Nsight System、Nsight Graphics、Nsight Compute、Nsight Perf SDK 均支持 Jetson Orin 模块，可帮助开发自主机器。

JetPack 6.2 包括 NVIDIA Nsight Systems v2024.5

JetPack 6.2 包括 NVIDIA Nsight Graphics 2024.2

JetPack 6.2 包含 NVIDIA Nsight Compute v2023.2，作为 CUDA 工具包 12.2 的一部分

受支持的 SDK 和工具

NVIDIA DeepStream SDK 是一个完整的分析 用于基于 AI 的多传感器处理和视频和音频理解的工具套件。

JetPack 6.2 支持 DeepStream 7.1

NVIDIA Isaac™ ROS 是一个 一系列硬件加速的软件包，使 ROS 开发者能够更轻松地构建 基于 NVIDIA 硬件 (包括 NVIDIA Jetson) 的高性能解决方案。

JetPack 6.2 将于 2025 年 1 月支持 Isaac ROS 3.2

NVIDIA Holoscan 是一个传感器处理平台，可简化 AI 和高性能计算 (HPC) 应用程序的开发和部署，从而提供实时见解

JetPack 6.2 将支持 Holoscan SDK 2.9

注意：Holoscan SDK 2.9 将于 2025 年 1 月在 JetPack 6.2 上推出。

NVIDIA Triton™ 推理服务器简化了 AI 模型的部署 进行大规模训练。Triton 推理服务器是开源的，支持部署经过训练的 AI Jetson 上的 NVIDIA TensorRT、TensorFlow 和 ONNX Runtime 模型。在 Jetson 和 Triton 上 推理服务器作为共享库提供，可与 C API 直接集成。

PowerEstimator 是一款 Web 应用，可简化自定义电源模式配置文件的创建，并估算 Jetson 模组的功耗。我们已更新了适用于 JetPack 6.2 的新功率模式的 Power Estimator 工具。

云原生

Jetson 带来 Cloud-Native 扩展至 边缘，并支持容器和容器编排等技术。 NVIDIA JetPack 包括采用 Docker 集成的 NVIDIA 容器运行时，支持 GPU 加速 基于 Jetson 平台的容器化应用程序。

NVIDIA 为 Jetson 提供多个容器镜像，NVIDIA NGC。有些是适用于使用示例进行软件开发的 和文档等，适用于生产软件部署，包含 只有运行时组件。如需了解更多信息和所有容器镜像的列表，请访问 Jetson 上的云原生页面。

安全性

NVIDIA Jetson 模组包括各种安全功能，包括硬件信任根、 安全启动、硬件加密加速、可信执行环境、磁盘和 内存加密、物理攻击保护等。通过以下方式了解安全特性： 跳转至安全部分，Jetson Linux 开发者指南。

JetPack 6.2 安全亮点包括：

  • T234 平台上基于固件的可信平台模块 (fTPM) 的支持。请参阅 安全页面 所有安全功能。

JetPack 文档和网络会议

文档

网络会议

支持

    访问 NVIDIA Jetson 论坛回答所有您的问题和问题。 NVIDIA 有专门的 Jetson 专家团队为您提供支持。

对于旧版 JetPack，请访问 JetPack 存档。