从机器人和智能视频分析到工业自动化、医疗健康、媒体处理和远程操作，视频是 NVIDIA Jetson 应用的核心数据路径。系统可以捕获多个摄像头、解码网络流、运行 AI 推理或传统视觉处理、绘制结果，以及对视频进行编码以进行存储或传输。
单次调用简单易懂；工程工作在于为 Jetson 设备选择合适的接口、编解码器、像素格式、内存路径、速率控制和缓冲，并证明完整路径符合延迟、吞吐量和质量目标。
NVIDIA JetPack 7.1 在 Jetson Thor 上引入了 NVIDIA 视频编解码器 SDK 支持，使 C 和 C++ 开发者能够直接、精细地访问 NVIDIA 视频编码器 (NVENC) 和 NVIDIA 视频解码器 (NVDEC) 。
JetPack 7.2.1 首次在 Jetson 上增加了对 PyNvVideoCodec 2.2 的支持，这是 NVIDIA Python 库，用于在 NVIDIA GPU 上进行硬件加速视频编码和解码。PyNvVideoCodec 生成并使用视频帧作为 GPU 驻留设备内存，并通过 DLPack 协议和 CUDA 设备缓冲区公开。它包含对 AI 管线友好的功能，例如多模式帧采样、ThreadedDecoder (通过在后台线程中预解码帧来提高管线效率) 、解码延迟与推理延迟的解。
JetPack 7.2.1 还为这些 SDK 提供了基础代理式视频技能。这些 SDK 提供可编程的视频基元；这些技能将开发者的目标与实时设备发现、支持的配置、工作方案、执行、测量和可复制的证据联系起来。它们共同加速了 Jetson 上的开放模型和智能体开发，让世界各地的每一位开发者都能获得前沿的 AI 性能。
从提示到验证工作流
诸如“此 Jetson 在低延迟用例中可以运行多少 H.264 1080p30 流？”之类的提示无法仅通过代码生成或数据表限制来回答。这取决于已安装的软件、目标的操作编解码器能力、内存路径以及证明延迟和吞吐量的受控运行。
Jetson 视频技能将该意图转化为可重复的编解码器工作流：检查目标，选择受支持的 Video Codec SDK 或 PyNvVideoCodec 路径，生成经过测试的配置，执行该配置，然后返回包含警告和证据的测量结果。
Jetson 视频技能在使用 NVENC 和 NVDEC 硬件引擎的 Video Codec SDK 和 PyNvVideoCodec 之上提供代理式工作流层：
Jetson 视频工作流程的基础技能
- 发现、设置和报告功能：识别 Jetson 平台和已安装的软件，指导受支持的设置，并查询实时目标上的编码和解码编解码器、格式、内存路径和会话功能。
- 生成编码器方案： 将低延迟、恒定质量、受限比特率、分辨率、帧率和编解码器选择等目标转换为显式设置和可运行的 Video Codec SDK 或 PyNvVideoCodec 路径。
- 基准性能和质量：针对吞吐量、延迟、利用率、比特率和输出质量运行可重复的测量结果。
- 验证编解码器工作流程： 连接设置、配方选择、编码或解码、测量和构件交接；然后返回重现结果所需的配置、结果、警告和证据。
这些技能在 SDK 之上添加了什么
这些 SDK 提供加速视频基元；这些技能会添加设备感知配置和验证。它们将宣传的功能与成功攻击目标的操作区分开来，并保留配方、输入、输出和测量值，以实现再现性。
使用 PyNvVideoCodec 和 Jetson 视频技能构建 AI 视频工作流
考虑一下提示，“解码此视频，应用我的 AI 或计算机视觉处理，并验证编解码器阶段是否满足我的性能目标。”编码助手使用 Jetson 视频技能来配置和验证 PyNvVideoCodec，而 PyNvVideoCodec 提供的示例应用程序提供了一个参考应用程序支架。
第 1 步：检查和配置。编码助手调用该技能来验证 Jetson 平台、软件和编解码器功能，然后选择解码器、输出格式、内存路径和缓冲。
第 2 步：解码为框架数据。PyNvVideoCodec 示例可以在背景线程上准备帧，并将每一帧交给框架张量，而无需应用特定的编解码器缓冲区代码。
第 3 步：完成申请流程。 配置编解码器阶段后，编码助手可以通过提示所需的阶段扩展示例应用，例如预处理、检测或分类、隐私过滤 (如模糊) 、可视化和输出处理。确切的 AI 或计算机视觉模型和应用程序逻辑仍然是开发者的选择。
第 4 步：测量和验证。 该技能记录编解码器配置，并验证运行状态、吞吐量、延迟、利用率、警告和证据。
范围说明：JetPack 7.2.1 视频技能涵盖 Video Codec SDK 和 PyNvVideoCodec。他们不会在此版本中添加 GStreamer、V4L2、AI 模型或应用级工作流构建技能。它们在编解码器阶段与编码助手相辅相成。未来版本中的其他 Jetson 技能可以与其组合，以支持更广泛的端到端应用。
为每个工作流阶段选择 Jetson 视频接口
Jetson 通过互补的软件层公开视频。GStreamer 提供高级工作流合成，V4L2 提供 Linux 视频设备和缓冲区控制，Video Codec SDK 提供对 NVENC 和 NVDEC 的低级 C/ C++ 访问，PyNvVideoCodec 基于核心 Video Codec SDK API 构建，具有更简单的 Python 接口。当工作流跨越截取、编解码器、AI 和交付阶段时，这些层可以组合起来。
| 界面 | 在以下情况下使用 | Jetson 工作流中的价值 |
| GStreamer | 您需要一个可组合的多媒体图形。 | 构建用于视频截取、播放、流式传输、转码和格式转换的硬件加速工作流。 |
| V4L2 | 您需要直接控制 Linux 摄像头、设备、格式或缓冲区。 | 访问 Jetson 视频设备，通过对格式、缓冲区和设备行为的明确控制来加速编码和解码。 |
| 视频编解码器 SDK | 您需要 C/ C++ API 以及对 NVENC/ NVDEC 功能和编解码器功能的精细控制。 | 使用硬件加速的视频编码和解码，并对质量、延迟和吞吐量进行精细控制。 |
| PyNvVideoCodec | 您需要更简单的 Python API 来处理硬件加速视频并与 AI 框架集成。 | 轻松集成到 AI 框架中，构建 Python 视频编码、解码和转码工作流。 |
JetPack 7.2.1 共同为开发者提供了从意图到证据的更清晰路径：选择合适的 Linux、C/ C++ 或 Python 接口；使加速数据靠近 GPU；以及使用基础视频技能配置和验证 Video Codec SDK 或 PyNvVideoCodec 阶段。此基础是对目前编程助手的补充，并且可以在未来版本中与其他 Jetson 技能相结合，以支持更广泛的端到端应用。
使用 JetPack 7.2.1 在 Jetson T5000 上模拟 Jetson T3000 性能
Jetson T3000 在紧凑、节能高效的平台中提供 865 FP4 TFLOPS，适用于人形机器人和机器人工作负载。它为多模态 AI 提供了美 T5000 的推理性能，同时减少了占用空间、功耗和成本。借助 JetPack 7.2.1，您现在可以模拟最近宣布的 T3000 性能，而不是 Jetson Thor AGX 开发者套件的 Jetson T5000 模块，从而开始开发。访问 Jetson Linux 开发者指南，了解有关实现仿真的更多详细信息。
开始使用
- Jetson 设备技能资源库
- Jetson BSP 技能库
- Video Codec SDK 开发者门户
- PyNvVideoCodec 开始使用
- PyNvVideoCodec 编程指南
- 适用于 T3000 仿真的 Jetson Linux 开发者指南
- 黄仁勋先生谈开放模型和美国 AI 领导力
- 黄仁勋介绍开放安全 AI 联盟
- Jetson T3000 和 T2000 发布博客
- Jetson Linux 多媒体 API 参考
