NVSHMEM

GPU 应用程序越来越需要网络和数据移动，以实现由 GPU 控制的一流操作，而非主机驱动的服务。当 CPU 位于每个网络事务的中间位置时，

大语言模型（LLM）的上下文窗口正在迅速扩展，近期的模型已支持128K、256K甚至更长的词元序列。然而，

今天的前沿 高性能计算 （ HPC ）系统包含数以万计的 GPU 。在 NVIDIA 系统中，