NVIDIA Nsight 深度学习设计器

Nsight Deep Learning (DL) Designer 是一个集成开发环境，可帮助开发者高效设计和优化深度神经网络，以实现高性能推理。它基于行业标准的 ONNX 模型格式以及 TensorRT™ 和 ONNX Runtime 等热门推理解决方案而构建。

开始使用

主要优势

Nsight DL Designer visualizes a TensorRT model for inspecting and editing

Nsight DL Designer 通过可视化 TensorRT 模型进行检查和编辑。

用于 ONNX 模型设计和优化的 GUI

Nsight DL Designer 是一款基于 GUI 的工具，可让编辑和创建 ONNX 模型变得直观可见。它与其他工具 (包括用户定义的工具) 集成，可以快速轻松地转换整个模型。

用于性能评估的内置分析器

Nsight DL Designer 附带 ONNX 运行时分析器和 TensorRT 分析器。开发者可以在更改模型时快速评估模型的推理性能配置文件。

与 TensorRT 集成

Nsight DL Designer 附带 NVIDIA 的 TensorRT (10.7) 推理引擎，可用作其 GUI 前端 (无需单独安装 TensorRT) 。开发者可以轻松加载 ONNX 模型，并轻松将其转换为 TensorRT 引擎，就像使用 GUI 一样简单。

探索主要功能

无需编码即可高效设计模型

Nsight DL Designer 是一款成熟的 ONNX 模型编辑器。其 GUI 允许开发者打开现有的 ONNX 模型，可视化其计算图形，并通过拖放 ONNX 运算符来更改模型图形。DL Designer 目前已与 ONNX 版本 1.15 ( opset 20) 保持一致，并支持本地函数和 FP8 等最新功能。高级用户可以完全在 DL Designer 中从头开始创建模型 (无需使用 Python 编码！) 。

DL Designer 与 GraphSurgeon 和 Polygraphy 等热门 ONNX 工具集成，可轻松对模型进行全局修改，例如图形清理、FP16 转换和初始化器类型转换。

DL Designer 还支持用户定义的工具，使开发者能够使用他们熟悉的工具快速转换整个模型。

Global model modification options available in Nsight DL Designer

单击放大

Nsight DL Designer 中提供全局模型修改选项

Nsight DL Designer displays key GPU metrics for a model’s inference performance

单击放大

Nsight DL Designer 显示模型推理性能的关键 GPU 指标。

使用 GPU 指标进行推理性能分析

对于性能关键型应用，开发者需要频繁且准确地分析模型的推理性能，以深入了解模型的瓶颈，并调整模型的架构或参数以满足所需的性能目标。

Nsight DL Designer 附带 ONNX Runtime (1.17) 分析器和 TensorRT (10.7) 分析器，因此开发者可以在单个环境中设计和分析其模型。DL Designer 的 ONNX 运行时分析器目前不仅支持 CPU 执行提供程序，还支持 CUDA 和 DirectML 执行提供程序。借助这些内置分析器，除了计时之外，开发者还可以获得基于 GPU 指标 (如 SM 利用率、Tensor Core 利用率、SM 占用率等) 的详细分析数据。这允许开发者针对特定 GPU 系列进一步优化其模型。

DL Designer 分析器的一个显著特点是能够直观地将在低级内核中收集的分析数据与模型中的原始 ONNX 运算符关联起来。

轻松导出模型以进行部署

Nsight DL Designer 提供灵活的选项来支持模型部署。使用 DL Designer 编辑或创建的网络模型可以轻松导出为 ONNX 文件以用于独立于平台的部署，也可以导出为 TensorRT 引擎以使用 TensorRT 进行高性能推理。

将模型导出为 TensorRT 引擎时，默认情况下将使用与分析相同的策略。这可确保开发者在部署中看到的模型推理性能与在分析中看到的相同。