NVIDIA DeepStream SDK
借助 DeepStream 的多平台支持，您可以更快、更轻松地开发视觉 AI 应用和服务。只需单击一下按钮，您甚至可以将其部署在本地、边缘和云端。
NVIDIA DeepStream 是什么？
NVIDIA 的 DeepStream SDK 是一个基于 GStreamer 的完整流分析工具包，用于基于 AI 的多传感器处理以及视频、音频和图像理解。它是构建 IVA 应用和服务的视觉 AI 开发者、软件合作伙伴、初创公司和 OEM 的理想之选。
现在，您可以创建流处理工作流，其中包含神经网络和其他复杂的处理任务，例如跟踪、视频编码/解码和视频渲染。这些流程支持对视频、图像和传感器数据进行实时分析。
优势
功能强大且灵活的 SDK
DeepStream SDK 非常适合多个行业的各种用例。
多种编程选项
使用 C/C++、Python 或 Graph Composer 简单直观的用户界面创建功能强大的视觉 AI 应用。
实时见解
了解边缘丰富的多模态实时传感器数据。
托管 AI 服务
在云原生容器中部署 AI 服务，并使用 Kubernetes 进行编排。
降低 TCO
使用 TAO 工具套件训练、调整和优化模型，并使用 DeepStream 部署模型，从而提高流密度。
独特功能
畅享从边缘到云端的无缝开发
DeepStream 让您能够更快、更轻松地为基于 AI 的视频、音频和图像分析构建无缝流式传输工作流。它附带 40 多个硬件加速插件和扩展程序，可优化预处理/后处理、推理、多对象跟踪、消息代理等。此外，它还提供了一些性能出色的实时多物体追踪器。
使用 DeepStream 的现成容器轻松构建云原生应用，这些应用可以部署在公有云和私有云、搭载 NVIDIA GPU 的工作站或 NVIDIA Jetson 上。它的“一次开发，随处部署”方法简化了代码管理，并提供了出色的可扩展性。借助 DeepStream Container Builder 工具，您还可以更轻松地使用 NVIDIA NGC 容器构建高性能云原生 AI 应用，这些容器可通过 Kubernetes 和 Helm Charts 轻松进行大规模部署和管理。
借助 DeepStream REST-API，您可以在运行时管理多个参数，从而简化 SaaS 解决方案的创建。借助标准 REST-API 接口，您可以构建用于控制和配置的 Web 门户，或集成到现有应用中。
构建端到端 AI 解决方案
借助 NVIDIA Metropolis 构建端到端视觉 AI 系统，加速整体开发工作并实现更出色的实时性能。从产品级视觉 AI 模型开始，使用 TAO 工具套件调整和优化这些模型，然后使用 DeepStream 进行部署。
获得惊人的灵活性 (从快速原型设计到完整的生产级解决方案)，并选择推理路径。通过原生集成NVIDIA Triton™ 推理服务器例如，您可以在 PyTorch 和 TensorFlow 等原生框架中部署模型以进行推理。使用NVIDIA TensorRT™具有多 GPU、多流和批处理支持选项的高吞吐量推理，还可帮助您实现出色性能。
PipeTuner 1.0 是一款新的开发者工具，现在可以轻松调整各种参数，以优化用于推理和跟踪的 AI 工作流
加速视觉 AI 开发
DeepStream SDK 捆绑了 30 多个示例应用，旨在帮助您开始开发工作。大多数示例提供 C/C++、Python 和 Graph Composer 版本，并在 NVIDIA Jetson 和 dGPU 平台上运行。借助对 Windows Subsystem for Linux (WSL2) 的支持，您现在无需访问远程 Linux 系统即可在 Windows 环境中进行开发。
DeepStream 服务提供商通过抽象化 GStreamer 的复杂性来轻松构建 C++面向对象的应用，从而简化开发流程。使用 Service Maker，只需几行代码即可构建完整的 DeepStream 工作流
DeepStream 库由 CV-CUDA、NvImageCodec 和 PyNvVideoCodec 提供支持，可提供低级 GPU 加速操作，以优化视觉 AI 工作流的前后阶段。
图形合成器为 DeepStream 开发者提供强大的低代码开发选项，以创建复杂的工作流，并使用 Container Builder 快速部署这些工作流。
打造新一代 AI 应用
严格的调度控制、自定义调度程序和高效的资源管理对于与机械臂和自动化质量控制线等确定性系统集成至关重要。
随着图形执行格式 (GXF) 的引入，可以轻松地与控制信号集成，这些控制信号的时域与 DeepStream 工作流处理的视觉流传感器不同。
新的参考应用可帮助您快速启动生成式 AI 应用的开发。此外，对传感器融合的新支持 BEVFusion 增加了激光雷达和雷达输入，这些输入可与摄像头输入融合，为开发者带来了一系列新的用例。
获取适用于视觉 AI 的生产就绪型解决方案
DeepStream 作为 NVIDIA AI Enterprise 的一部分提供，NVIDIA AI Enterprise 是一个端到端、安全的云原生 AI 软件平台，经过优化，可加速企业进入 AI 前沿。
NVIDIA AI Enterprise 提供 NVIDIA AI 开源软件的验证和集成、AI 解决方案工作流的访问权限以缩短生产时间、获得在任意位置部署 AI 的认证，以及企业级支持、安全性和 API 稳定性，以减轻开源软件的潜在风险。
探索多编程语言支持
C/C++
使用 C/C++创建应用，直接与 GStreamer 和 DeepStream 插件交互，并使用参考应用和模板。
Python
可以使用 Gst Python (GStreamer 框架的 Python 绑定) 构建 DeepStream 工作流。可在 GitHub 上获取绑定和 Python 示例应用的源代码。
图形合成器
Graph Composer 是一款低代码开发工具，可增强 DeepStream 用户体验。使用简单直观的用户界面，通过拖放操作构建处理工作流。
提高准确性和实时性能
| Jetson Orin Nano | Jetson Orin NX | Jetson Orin AGX™ | T4 | A2 | A10 | A30 | A100 | H100 | L40 | L4 | Quadro (A6000) | A4000 | L4000 | ARM SBSA | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Application | Models | Tracker | Infer Resolution | Precision | GPU | GPU | DLA1 | DLA2 | GPU | DLA1 | DLA2 | GPU | GPU | GPU | GPU | GPU | GPU | GPU | GPU | GPU | GPU | GPU | GPU |
| People Detect | PeopleNet-ResNet34 (v2.3.3) | No Tracker | 960x544 | INT8 | 256 | 372 | 175 | 175 | 970 | 329 | 329 | 912 | 610 | 2059 | 3273 | 4952 | 6920 | 4443 | 1674 | 2787 | 1282 | 1512 | 6977 |
| PeopleNet-ResNet34 (v2.3.3) | NvDCF (Accuracy) | 960x544 | INT8 | 82 | 128 | 77 | 77 | 318 | 196 | 196 | 429 | 295 | 1009 | 1229 | 2040 | 2936 | 1870 | 701 | 1301 | 746 | 623 | 3613 | |
| PeopleNet-ResNet34 (v2.3.3) | NvDCF (Performance) | 960x544 | INT8 | 215 | 315 | 170 | 170 | 625 | 310 | 310 | 866 | 568 | 2063 | 2806 | 4250 | 6103 | 4278 | 1563 | 2855 | 1277 | 1413 | 5788 | |
| License Plate Recognition |
TrafficCamNet
LPDNet LPRNet |
NvDCF |
960x544
640x480 96x48 |
INT8
INT8 FP16 |
120 | 180 | - | - | 370 | - | - | 382 | 253 | 1071 | 1327 | 2150 | 2801 | 2280 | 741 | 1404 | 788 | 670 | N/A |
| 3D Body Pose Estimation | PeopleNet-ResNet34 BodyPose3D | NvDCF |
960x544
192x256 |
INT8
FP16 |
28 | -40 | - | - | 76 | - | - | 101 | 67 | 160 | 128 | 151 | 255 | 226 | 200 | 235 | 148 | 104 | 313 |
| Action Recognition | ActionRecognitionNet (3DConv) | No Tracker | 224x224x3x32 | FP16 | 34 | 51 | - | - | 147 | - | - | 173 | 74 | 450 | 552 | 996 | 1270 | 870 | 313 | 638 | 319 | 300 | 1910 |
仅报告旗舰产品的 RTX GPU 性能。所有 SKU 均支持 DeepStream。
借助 DeepStream SDK，您可以将 AI 应用于流媒体视频，同时优化视频解码/编码、图像缩放和转换以及边缘到云的连接，从而实现完整的端到端性能优化。
如需详细了解使用 DeepStream 的性能，请查看文档。
阅读客户案例
优化班加罗尔机场的运营
Industry.AI使用 NVIDIA Metropolis 堆栈 (包括 DeepStream) 来提高机场的安全性和效率。借助视觉 AI，它能够追踪被遗弃的行李、标记长乘客队列，并向安全团队发出潜在问题的警报。
提升配送中心运营
KoiReader 使用包含 DeepStream SDK 的 NVIDIA 开发者工具开发了一种 AI 赋能的机器视觉解决方案，帮助百事公司在动态分发环境中实现精度和效率。
扩展 AI 赋能的智能空间
FYMA 使用 NVIDIA DeepStream 和 NVIDIA Triton™ 改进 AI 驱动的空间分析，帧率比之前的基准测试高 10 倍，准确性高 3 倍。
一般常见问题解答
DeepStream 是一款闭源 SDK。请注意，我们提供了所有参考应用和多个插件的源代码。
DeepStream SDK 可用于构建 AI 驱动的端到端应用，以分析视频和传感器数据。一些热门用例包括零售分析、停车管理、物流管理、光学检测、机器人和运动分析。
请参阅平台和操作系统兼容性表。
是的，现在可以通过集成 Triton 推理服务器实现这一点。此外，借助 DeepStream 6.1.1，应用程序可以使用 gPRC 与 Triton 推理服务器的独立/远程实例进行通信。
DeepStream 开箱即用，支持多个热门网络。例如，DeepStream 支持 MaskRCNN。此外，DeepStream 附带一个运行热门 YOLO 模型、FasterRCNN、SSD 和 RetinaNet 的示例。
是，DS 6.0 或更高版本支持 Ampere 架构
是的，DeepStream SDK 6.1.1 支持音频。首先，下载软件并查看参考音频和自动语音识别 (ASR) 应用。如需了解详情，请阅读ASR DeepStream 插件
使用 DeepStream SDK 构建高性能视觉 AI 应用和服务。