NVIDIA AI 基础架构
自动驾驶汽车
NVIDIA AI Enterprise 软件套件为您提供简化 AV 软件开发和部署所需的必要工具。包括从数据准备和训练到优化推理和大规模部署的所有环节。
.png)
单击查看大图
第 1 步：数据预处理以及提取、转换和加载 (ETL)
转变原始传感器数据
使用 Apache Spark，以及 NVIDIA RAPIDS› 一套开源库和 API，可帮助加速清理、过滤原始传感器数据，并将其转换为更结构化的格式。
使用加速 Spark 分析工具。
视频处理
使用 NVIDIA 视频处理框架(VPF) 将压缩数据解码并转换为帧 。
并通过使用 NVIDIA® CV-CUDA*- 用于大规模图像处理任务的开源 GPU 加速库调整图像大小和长宽比，标准化像素值。
自动标记
使用 NVIDIA Triton™ 推理服务器用于自动标记 DNN 模型，最好在 NVIDIA TensorRT format 以获得最高吞吐量。您还可以执行预处理 (例如解码、重新塑造、过滤等)和后处理 (例如，编码边界框、重塑等)在同一 GPU 上运行，以实现端到端最大的自动标记速度和高 GPU 利用率。您可以使用此页面的“Video Processing”(视频处理) 部分中介绍的工具。
场景挖掘
务必要尽可能缩短提取相关场景以构建训练或测试数据集所花费的时间。除了在元数据中搜索关键字之外，DNN 模型还可以帮助对场景进行合成和语义挖掘。使用 Triton 推理服务器用于自动标记 DNN 模型，最好是 NVIDIA TensorRT 以获得更高的吞吐量。与自动标记类似，您可以使用此页面视频处理部分中介绍的工具。
第 2 步：训练和优化
GPU 加速
使用启用 GPU 加速 NVIDIA CUDA*工具包和 NVIDIA CUDA 深度神经网络库(cuDNN)。该工具包包括 GPU 加速库、调试和优化工具、C/C++编译器和运行时库。cuDNN 为深度神经网络提供 GPU 加速的基元库。
混合精度训练
混合精度训练是一种使用较低精度浮点数 (例如半精度) 来加速训练的技术 Tensor Cores。详细了解如何使用用于主要深度学习框架的自动混合精度。
NVIDIA DALI®
NVIDIA 数据加载库 (DALI®)是一个可移植的开源软件库，可用于解码和增强图像、视频和语音。这有助于通过减少数据访问延迟和训练时间来加速 DLI 应用。
第 3 步：模拟和测试
模拟
模拟真实场景的训练不仅对于不可预见的场景至关重要，而且对于自动驾驶汽车的测试和验证也至关重要。以安全可靠的方式部署自动驾驶需要实现真实的保真度，而如果不模拟罕见的真实场景，这将是非常具有挑战性的。这需要对自主系统传感器和周围环境的物理特性和行为进行准确建模。
NVIDIA Omniverse Cloud 传感器 RTX 可提供大规模、高保真传感器仿真，以加速 AV 开发，让您能够以无缝方式有效测试无数“假设”场景和不同的环境条件。
回放
回放记录的日志和记录的传感器数据可用于分析和诊断测试期间或现场可能出现的问题。可以回放传感器数据、系统日志和其他数据，以重建问题发生的条件，并帮助确定根本原因。回放还可用于评估不同算法和系统在不同条件下的性能。