NVSHMEM

大语言模型（LLM）的上下文窗口正在迅速扩展，近期的模型已支持128K、256K甚至更长的词元序列。然而，

今天的前沿 高性能计算 （ HPC ）系统包含数以万计的 GPU 。在 NVIDIA 系统中，