Nsight Compute

NVIDIA Nsight Systems

NVIDIA Nsight™ Systems 是一款系统级性能分析工具,旨在实现应用算法的可视化,找出程序中最值得优化的"瓶颈",并进行调整以跨任意数量或大小的 CPU 和 GPU (从大型服务器到最小的系统级芯片 (SoC)) 进行高效扩展。

开始使用

Nsight Systems 2025.2.1 现已推出。

Nsight Systems can make high-performance games with beautiful graphics

Nsight Systems 在时间轴上可视化系统工作负载指标,并提供工具来帮助开发者检测、理解和解决性能问题。

分析系统

要全面了解应用优化,需要深入研究硬件交互,以确保实现最大程度的并行性。Nsight Systems 在统一的时间轴上可视化无偏的系统级活动数据,允许应用程序开发者调查相关性、依赖关系、活动、瓶颈和资源分配,以确保硬件组件协调工作。

分析性能

Nsight Systems 提供低噪性能分析,可将用于实现优化的其他隐藏的事件层和指标可视化,包括 CPU 并行化和核心利用率、GPU 流多处理器 (SM) 优化、系统工作负载和 CUDA® 库追踪、网络通信、操作系统交互等。

跨平台扩展

Nsight Systems 是一款通用工具,用于在 NVIDIA 平台上开发本地或云端应用程序。从 NVIDIA DGX™ 到 NVIDIA RTX™ 工作站,包括适用于汽车的 NVIDIA DRIVE® 以及适用于边缘 AI 和机器人的 NVIDIA Jetson™,可跨各种 NVIDIA 平台进行扩展。Nsight Systems 可为优化 AI、高性能计算 (HPC) 、专业可视化和游戏应用提供宝贵见解。


探索主要功能

可视化 CPU-GPU 交互

Nsight Systems 会锁定目标应用,以便在时间轴中显示 GPU 和 CPU 活动、事件、注释、吞吐量和性能指标。由于开销较低,这些数据可以准确地并行可视化,便于理解。GPU 工作负载与应用内 CPU 事件进一步关联,因此可以轻松识别和修复性能障碍。

Nsight Systems can make high-performance games with beautiful graphics
CPU 活动 (顶部) 与 GPU 图形和计算活动 (底部) 并行运行。
Nsight Systems tracks GPU activity
Nsight Systems 时间轴的“GPU 指标”部分。

跟踪 GPU 活动

为进一步探索 GPU,切换 GPU 指标采样将绘制低级输入/ 输出 (IO) 活动,例如 PCIe 吞吐量,NVIDIA NVLink® 以及动态随机访问内存 (DRAM) 活动。GPU 指标采样还可公开 SM 利用率、Tensor Core 活动、指令吞吐量和线程束占用率。可以随时跟踪每个工作负载及其 CPU 来源,以支持性能调优。

追踪 GPU 工作负载

对于计算任务,Nsight Systems 支持研究 CUDA API 和追踪 CUDA 库,包括 cuBLAS、cuDNN 和 NVIDIA TensorRT™。对于图形计算,Nsight Systems 支持分析 Vulkan、OpenGL、DirectX 11、DirectX 12、DXR 和 NVIDIA OptiX™ API。

 Nsight Systems traces GPU workloads
替代文本:DX12 API 会在时间轴中与渲染线程一起按时间顺序调用这些内容。
借助 NVIDIA Nsight Systems 将 AI 应用扩展到数据中心和云

加速多节点性能

Nsight Systems 支持多节点分析,可解决数据中心和集群规模的性能限制问题。多节点分析自动诊断多个节点的性能限制。此外,网络指标与 Python 回溯采样共同描绘了跨 GPU、CPU、DPU 和节点间通信的全貌。

针对 AI 和深度学习优化 Python

Nsight Systems 可帮助您编写能够更大限度地提高 GPU 利用率的 Python 应用程序。借助回溯和自动调用堆栈采样,您可以微调深度学习应用程序的性能。

此外,通过与 Jupyter Lab 集成,您可以直接在 Jupyter 中分析 Python 和其他受支持的语言,包括使用完整的 Nsight Systems GUI 进行详细分析。

获取 NVIDIA Nsight 工具 JupyterLab 扩展程序
聚焦 Nsight 开发者工具中的 Python 支持功能
Nsight Systems detects frame stutter and bottlenecks
Nsight Systems 检测到了导致严重卡顿的低健康帧,以及导致卡顿的呼叫。

检测帧卡顿和瓶颈

Nsight Systems 会自动检测缓慢帧 (通过突出显示高于目标的帧时间) 以及局部卡顿帧 (通过突出显示时间高于相邻帧的帧) 。它还会自动报告每帧的 CPU 时间,以及可能导致卡顿的 API 调用。这为开发者提供了大量信息,以找到和解决掉帧和帧定时不一致的原因。

详细了解如何使用 Nsight Systems 修复游戏中的卡顿问题

查看 Nsight 套件中的其他工具

Nsight Systems 是 NVIDIA Nsight 开发者工具套件的一部分,该套件包含一系列强大的工具、库和 SDK,支持开发者利用最新的加速计算硬件构建、调试和配置软件。

img-alt-text

Nsight Graphics

NVIDIA Nsight Graphics 是一款支持光线追踪的独立开发者工具,可让您调试、配置和导出使用 Direct3D、Vulkan、OpenGL、OpenVR 和 Oculus SDK 构建的帧。

img-alt-text

Nsight Compute

Nsight Compute 是一个用于 CUDA 应用的交互式内核分析器。它通过用户界面和命令行工具提供详细的性能指标和 API 调试。它还提供可定制的数据驱动型用户界面和指标集合,可使用分析脚本扩展这些界面和指标集合,以实现后处理结果。

img-alt-text

Nsight Aftermath SDK

Nsigh Aftermath SDK 是一个库,可集成到 D3D12 或 Vulkan 游戏的崩溃报告器中,以便在发生异常或 TDR 时生成 GPU“迷你转储文件”,从而公开工作流信息以解决意外崩溃问题。


查看合作伙伴评价和生态系统

Vulkan 是 Adobe 为其 Adobe Substance 3D 产品制定多平台、多供应商渲染策略的基石。得益于 NVIDIA 开创并为 Khronos 提供的光线追踪扩展,Vulkan 可原生访问光线追踪硬件,从而在支持的设备上提供出色的光线追踪性能。此外,在理解和提高 Vulkan 光线追踪应用的性能方面,Nsight Graphics 和 Nsight Systems 是非常有用的工具。

– Francois Beaune,Adobe 3D 和 Immersive 照片级别渲染首席软件工程师

NVIDIA Nsight Systems 使 Microsoft Azure HPC™ AI 团队能够执行详细分析,并针对我们的服务和客户优化 GPU 加速的 AI 和软件。该工具清晰地描绘了 CPU、GPU、NIC 和操作系统上的事件,使我们能够快速识别最耗时的功能和目标冷点。

– Kushal Datta,Microsoft Azure HPC+ AI 首席软件工程师

我们注意到,新的 Quadro P6000 服务器在训练期间“不足”,因此我们需要专家为我们提供支持。NVIDIA Nsight Systems 帮助我们实现了超过 90% 的 GPU 利用率。以前训练深度学习模型需要 600 分钟,而现在只需 90 分钟。

– Tracxpoint 首席 AI 科学家 Felix Goldberg

通过与 AWS 和 NVIDIA 合作,Deepset 在训练自然语言处理模型方面实现了 3.9 倍的加速和 12.8 倍的成本降低。


观看 Nsight 开发者工具 CUDA 教程

CUDA 开发者工具是一系列教程视频,旨在帮助您开始使用 Nsight 工具进行 CUDA 开发。它探讨了 CUDA 分析、调试和优化的关键功能。

CUDA 开发者工具 | NVIDIA Nsight 工具生态系统

CUDA 开发者工具 | NVIDIA Nsight 系统简介

CUDA 开发者工具 | NVIDIA Nsight Compute 简介


点播观看 Nsight Systems 会议和技术视频


及时了解 NVIDIA Nsight Systems 的最新动态


查找更多资源

img-alt-text

探索 Nsight Systems 论坛

img-alt-text

阅读 Nsight Systems 文档

img-alt-text

浏览 Nsight 工具教程


img-alt-text

加入 NVIDIA 开发者计划

准备好开始使用 NVIDIA Nsight Systems 了吗?

立即下载