NCCL

大语言模型（LLM）的上下文窗口正在迅速扩展，近期的模型已支持128K、256K甚至更长的词元序列。然而，

最新版本的 CUDA 工具包，即 版本 12.4，继续利用最新的 NVIDIA GPU 来推动加速计算性能。