NCCL

在编写 CUDA 应用程序时，要编写出色的代码，您需要关注的最重要的一点是数据传输性能。这适用于单 GPU 和多 GPU 系统。

最新版本的 CUDA 工具包，即 版本 12.4，继续利用最新的 NVIDIA GPU 来推动加速计算性能。