DeepStream SDK
全球有数十亿摄像头和传感器，它们能够捕获大量数据，这些数据可用于生成商业见解、提高处理效率以及改善收益流。无论是在交叉路口缓解车辆拥堵，在医院进行健康和安全监控，还是调查零售通道以提高客户满意度，抑或是开展体育分析或是在制造厂检测零件缺陷，每种应用场合都需要可靠的实时智能视频分析 (IVA)。
强大且灵活的 SDK
适用于各行各业众多用例的统一 SDK。
低代码量编程
使用 Graph Composer 简单直观的用户界面，创建功能强大的视觉 AI 应用。
实时洞察力
托管 AI 服务
NVIDIA 的 DeepStream SDK 提供了完整的流分析工具包，可用于基于 AI 的多传感器处理以及视频、音频和图像理解。
DeepStream 面向致力于构建 IVA 应用和服务的视觉 AI 开发者、软件合作伙伴、初创公司及原始设备制造商 (OEM)。
使用 DeepStream，实现更高准确率和实时性能
DeepStream 为各种基于物体检测、图像分类和实例分割的 AI 模型提供出色的吞吐量。为减少开发工作并提高吞吐量，开发者可以使用 TAO 工具套件中的高度准确的预训练模型，并通过 DeepStream 进行部署。下表显示了从数据提取、解码、图像处理到推理的端到端应用性能。这需要多个 1080p/30fps 流作为输入。请注意，在 Jetson Xavier NX 和 Jetson AGX Xavier 的 DLA 上运行可以释放 GPU 用于其他任务。
|
|
|
|
|
|
|
|
|
|||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
* Jetson Nano 和 TX2 上的 FP16 推理
借助 DeepStream SDK，您可以将 AI 应用到流媒体视频中，同时优化视频解码/编码、图像缩放和转换以及边缘到云的连接，从而实现完整的端到端性能优化。此图总结了各种 NVIDIA 产品在 1080p/30 FPS 下实现的流密度。您可以在文档中了解有关使用 DeepStream 的性能的更多信息。
此图总结了各种 NVIDIA 产品在 1080p/30 FPS 下实现的流密度。
如需了解性能最佳实践，请观看此视频教程。
使用 DeepStream 参考应用生成的数字
为何要使用 DeepStream SDK？
无缝开发
开发者可以使用 DeepStream 为 AI 视频、音频和图像分析构建无缝流媒体工作流。DeepStream 可供开发者使用 C/C++、Python 进行开发，或借助 Graph Composer
进行低代码量图形编程，从而实现开发灵活性。DeepStream 附带各种硬件加速插件和扩展。
DeepStream 专为开发人员和企业而打造，为流行的目标检测和分割模型提供广泛的 AI
模型支持，例如先进的 SSD、YOLO、FasterRCNN 和 MaskRCNN。您还可以在 DeepStream 中集成自定义函数和库。
Deepstream
提供从快速原型设计到完整生产级解决方案的灵活性。它还允许您选择推理路径。借助 NVIDIA Triton 推理服务器的原生集成，您可以在
PyTorch 和 TensorFlow 等原生框架中部署模型，以进行推理。使用 NVIDIA TensorRT 实现高吞吐量推理，以及多 GPU、多流和批处理支持选项，您可以获得更佳性能。
除了支持原生推理之外，DeepStream 应用还可以使用 gRPC 与 Triton 推理服务器的独立/远程实例进行通信，从而实现分布式推理解决方案。
DeepStream 6.0 的新功能：使用 Graph Composer 进行低代码量编程
借助 Graph Composer，DeepStream 开发者现在可拥有强大的低代码图形编程选项。通过简单直观的界面，您可以轻松创建复杂的处理流程，并使用容器构建器进行快速部署。
Graph Composer 提取了许多基础 DeepStream、GStreamer 和平台编程知识，这些知识是创建满足实时、多流视觉 AI 应用最新要求的设计所需的。
用户无需写入代码，即可与扩展程序库进行交互，并使用拖放界面来配置和连接它们。用户可以使用 NVIDIA 针对不同硬件平台打造的优化扩展程序库，也可以创建自己的库。
安全管理应用和服务
对于现实世界的 IVA 应用/服务部署而言，远程管理和应用控制至关重要。DeepStream SDK 可运行于任何云和边缘。它可处理物联网要求，例如边缘和云之间的有效双向信息传递、安全性、智能录制和无线 AI 模型更新。
- 借助边缘和云之间的双向信息传递，您可以为用例（如事件记录的远程触发器）添加更大的控制，更改操作参数和应用配置，或请求系统日志。
- 借助 DeepStream 应用中的智能录制功能，您可以通过选择性录制，来节省边缘端中宝贵的磁盘空间，从而加快搜索速度。您可以使用云到边缘信息传递，以便从云端快速触发录制。
- 从任何云注册服务表对整个应用或单个 AI 模型进行无缝无线 (OTA) 更新，以在零宕机时间的情况下不断提高准确率。
- 为实现安全的物联网设备通信，DeepStream 提供基于 SSL 证书的双向 TLS 身份验证，并基于公钥身份验证来加密通信
DeepStream 提供基于 Redis、Kafka、MQTT 和 AMQP 的物联网集成界面，以及与 AWS IoT 和 Microsoft Azure IoT 的一站式集成。
您可以借助 NVIDIA NGC 容器，构建高性能 DeepStream 云原生应用。通过使用 DeepStream，您可以借助 Kubernetes 和 Helm Chart，大规模部署和管理容器化应用。
强大的端到端 AI 解决方案
通过借助 NVIDIA TAO 工具套件构建端到端视觉 AI 系统、生产级视觉 AI 模型并使用 DeepStream 在边缘部署，加快整体开发速度并实现更出色的实时性能。DeepStream 提供借助 TAO 工具套件训练的多个检测和分割模型的一站式集成，包括 SSD、MaskRCNN、YOLOv3、RetinaNet 等。
参考应用
DeepStream SDK 附带 30 多个示例应用，旨在帮助用户启动开发工作。大多数示例均提供 C/C++、Python 和 Graph 版本，可在 NVIDIA Jetson 和 dGPU 平台上运行。参考应用可有助了解 DeepStream 插件的功能，或作为模板和起点来开发自定义视觉 AI 应用。
DeepStream SDK 插件
- H.264 和 H.265 视频解码
- 流聚合与批处理
- 基于 TensorRT 的推理，可用于检测、分类和分割任务
- 物体追踪参考实现
- 屏幕显示 API，用于突出显示物体和叠加文本
- 将多源帧渲染为 2D 网格阵列
- 基于 X11/EGL 的加速渲染
- 根据兴趣区域 (ROI) 进行筛选
- JPEG 解码
- 缩放、格式转换和旋转
- 为 360 度摄像头输入图像去扭曲
- 元数据生成与编码
- 向云传递消息
- 音频/视频模板插件
用户好评
提高运营效率和减少损失是许多零售商面临的关键问题。如今的大型超市会在店内安装许多摄像头，用于缓解这些问题，但对如此多的流进行实时视频处理却是一个不小的挑战。通过采用 NVIDIA T4 GPU、DeepStream 和 TensorRT，码隆科技提供先进的智能视频分析 (IVA) 解决方案，以出色的准确率实现了 3 倍的吞吐量提升，从而帮助其零售业客户显著提高业务性能。
码隆科技
从全球数十亿摄像头和传感器生成的海量数据中提取出可行见解是一项无比艰巨的任务，并且由于安全性、法规或带宽限制，维持这些设备与云之间的连接以实施处理操作也可能产生过于高昂的成本，甚至不可行。Microsoft Azure IoT Edge 将使用 DeepStream 构建的应用和服务部署到边缘设备，从而允许组织在本地处理数据、触发警报并自动采取措施，同时还可在需要时上传到云中。结合 Azure IoT Edge、NVIDIA DeepStream 和 Azure IoT Central 将能为数百万台边缘设备实现设备管理、监控和自定义业务逻辑，从而获得实时见解并开展轻松部署。
微软
作为配送和物流管理领域的领导者，顺丰科技需要对货物和车辆进行追踪，而这往往需要跨越数万个地点。每个网点都需要有关车队管理、装载时间和其他业务活动的详细分析。顺丰采用的 AI Argus 是一款智能视频分析产品，可以生成更智能的视频分析见解，同时处理 32 个视频流；该公司通过使用 DeepStream 和 NVIDIA GPU，进一步提高了这款产品的运行效率。该公司还考虑使用新一代 GPU，预计这将增加处理的视频流数量。
顺丰科技
我们正在利用一系列基于实时分析的产品将 AI 和机器学习引入贸易领域，这些产品可帮助企业确保自动柜员机周围区域的安全，并仔细监督商店入口/出口，以防止商品丢失。通过切换到在 Jetson Nano 上运行的基于 DeepStream 的解决方案，我们实现了 5 倍的流密度提升，提高了平台效率，降低了硬件和安装成本。
Signatrix
