AI 平台/部署

把“人造太阳”搬上 GPU:用 CUDA C++ 加速聚变等离子体的回旋动理学模拟

聚变堆里的 α 粒子既负责加热等离子体,又可能激发不稳定性,把自己“踢”出去。为了预测这一过程,我们开发了 cuGMEC:用 CUDA C++ 和 NVIDIA 计算库,把一个回旋动理学-磁流体混合模型完整搬上 GPU。本文沿着一个时间步的计算流程,分享我们的七项优化,希望对其他粒子模拟和模板计算程序也有参考价值。

cuGMEC 模拟的 Cyclone Base Case参数下的微观湍流结构(题图)

在地球上造一颗“人造太阳”

太阳的能量主要来自核聚变:自身引力将物质压缩并约束在太阳内部,形成高温、高密度的核心环境,使氢原子核通过一系列聚变反应转化为氦核,释放出大量能量。如果能在地球上可控地利用核聚变,人类将拥有一种燃料几乎取之不尽、不排放温室气体的清洁能源。

最有希望的燃料是氢的两种同位素:氘和氚。为了获得足够高的聚变反应率,需要把燃料加热到上亿摄氏度,这时物质成为等离子体。为维持高温并保护装置,需要尽量避免高温核心等离子体与装置直接接触。磁约束聚变装置,例如托卡马克和仿星器,采用的办法是造一只“磁笼子”,用磁场将等离子体约束在装置内(图1)。正在建设的 ITER 和世界各地的众多聚变装置都基于这一思路。

每次氘氚聚变会产生一个 3.5 MeV 的 α 粒子。理想情况下,α 粒子把能量留在等离子体内,实现“自持燃烧”。但它们也可能激发阿尔芬不稳定性,增长的波又反过来把 α 粒子“踢”出芯部,降低燃烧效率甚至损伤装置第一壁。

图 1. 托卡马克与仿星器用磁场约束高温等离子体

在造价数百亿元的大型装置上反复试错并不现实,数值模拟因此成为聚变研究的“数字风洞”。问题在于,这类模拟的计算量大得惊人。

为什么这类模拟这么“吃”算力

自洽地模拟 α 粒子与阿尔芬不稳定性的相互作用,需要同时在网格上演化电磁场,并跟踪数以亿计的带电粒子,二者每一步都要交换信息。若要进一步解析介观尺度的阿尔芬不稳定性与微观湍流的跨尺度耦合,还需加密网格、增加粒子数,算力需求也随之增长。

带电粒子会以一定频率绕磁力线回旋(图2),回旋动理学理论只跟踪回旋中心的运动,再用回旋圆环上几个采样点的平均值,代替粒子感受到的场。这让时间步长可以放大几个数量级,代价是访存变得很不规则:每个粒子每步都要在多个采样点上读取周围网格顶点的场,写回电荷或者压强时也一样。网格与粒子数一多,这些读写就成了性能的主要瓶颈。

图 2. 回旋平均:程序跟踪引导中心,并在回旋圆环的采样点上读取周围网格点的场

cuGMEC 的一个时间步

cuGMEC 是我们用 CUDA C++ 完全重构的 GMEC(Gyrokinetic-MHD Energetic-particle Code)GPU 版本。电子用流体方程描述,热离子和高能量粒子用 delta-f 粒子网格(PIC)方法求解;空间离散采用五点中心差分,时间推进采用四阶龙格-库塔方法。一个时间步包括三个阶段(图3):

场推进:显式推进扰动场,并在每个龙格-库塔子步中隐式求解一组二维泊松方程。

粒子读场与推进:每个粒子在回旋圆环上采样场,更新自己的位置和速度。

压强沉积:粒子把压强贡献写回网格,在下一步反馈给场方程。

图 3. cuGMEC 一个时间步的三个阶段,以及七项优化分别作用的阶段

我们先用 NVIDIA Nsight Systems 看了时间都花在哪里(图4):粒子推进、泊松求解和场推进占了绝大部分,正好对应上面三个阶段,下面按阶段介绍我们的优化。

图 4. 单步墙钟时间分布

第一阶段:让场的推进更快

1. 系数压缩:把重复的几何计算提前做完

问题:为了贴合真实磁场形状,我们使用非正交曲线坐标,矢量微分算子展开后会出现大量几何项(度规、雅可比及其导数)组成的系数。每步在每个网格点上重算它们会加大编程难度,并且大量访存和运算都浪费在不随时间变化的量上。

做法:我们在初始化时把几何项预先合并成少量系数数组,使演化方程变成“系数 × 扰动”的组合,扰动指扰动量本身、导数或它们的乘积。以由 δA∥ 计算 δJ∥ 为例(图5)。

图 5. 系数压缩:几何项预先合并为系数,计算时采用系数乘以导数形式

效果:访存量和寄存器压力随之下降,修改差分格式时也不必重新推导系数。场推进加速约 1.54 倍。

2. warp shuffle:让线程之间“传纸条”

问题:我们通过变换环向坐标构造沿场线坐标系,代价是需要频繁地在环向插值,这是程序中最频繁的操作之一。

做法:单环向模数模拟时,我们让环向网格数恰好等于 full-warp 或 half-warp 线程数,于是一圈环向场值正好分布在一个 warp 的寄存器里。每个线程只读一次全局内存,五点中心差分所需的 4 个邻点用 __shfl_sync 直接从相邻线程取(图 6),就像同一排的人互相传纸条,而不是每人各跑一趟仓库。并且越界的线程号会在分段内自动取模回绕,环向周期性边界条件就“免费”得到了。

图 6. (a)常规做法:每个线程从全局内存读取 4 个环向邻点;(b)用 warp shuffle 在寄存器间交换

代码 1. 用 warp shuffle 加速插值过程(简化示意)

double f = field[index];

double f0 = __shfl_sync(0xffffffff, f, lane - 2, nz);

double f1 = __shfl_sync(0xffffffff, f, lane - 1, nz);

double f2 = __shfl_sync(0xffffffff, f, lane + 1, nz);

double f3 = __shfl_sync(0xffffffff, f, lane + 2, nz);

double v = interp4(f0, f1, f2, f3);

效果:可以简化环向插值的代码,并且场推进再加速约 1.41 倍。

3. 多 CUDA 流并发求解泊松方程

问题:每个龙格-库塔子步都要求解泊松方程,沿磁力线的每个位置对应一个独立的二维稀疏系统,单个系统很难让 GPU 忙起来。

做法:首先,算子不随时间变化,我们在初始化时用 NVIDIA cuDSS 对每个系统完成一次重排序、符号分析和数值分解,之后每个子步只更新右端项并执行求解阶段。其次,我们为每个系统分配独立的 CUDA 流和 cuDSS 句柄,让它们并发执行(图 7)。cuDSS 也支持在单流中打包进行批量求解,结果反而更慢(图8):多流方案中小规模三角求解相互重叠、掩盖了延迟,而批量求解变成了串行执行的单个 kernel。

代码 2. 分解一次,反复求解,每个系统一个 CUDA 流(简化示意)

for (int j = 0; j < devNy; j++) {         //初始化:只做一次

    cudaStreamCreate(&s[j]);

    cudssCreate(&h[j]);

    cudssSetStream(h[j], s[j]);

    /* ... 相关设置 ... */

    cudssExecute(h[j], CUDSS_PHASE_ANALYSIS, cfgs[j], datas[j], As[j], Xs[j], Bs[j]);

    cudssExecute(h[j], CUDSS_PHASE_FACTORIZATION, cfgs[j], datas[j], As[j], Xs[j], Bs[j]);

}

for (int j = 0; j < devNy; j++) {         //每个子步:只换右端项并求解

    cudssMatrixSetValues(Bs[j], rhs + j * nxz);

    cudssExecute(h[j], CUDSS_PHASE_SOLVE, cfgs[j], datas[j], As[j],Xs[j], Bs[j]);

}

图 7. Nsight Systems 时间线:多流并发求解,求解相互重叠

图 8. Nsight Systems 时间线:单流打包求解,kernel 串行执行

效果:泊松方程求解加速约 2.55 倍。

第二阶段:让粒子读场更快

4. 向量化读取:一起用的数据进行相邻存储

问题:每个回旋采样点要从周围 8 个网格顶点读取扰动场及其导数,每个顶点涉及 8 个量。分开存放时,读一个顶点需要 8 次分散的标量加载。

代码 3. 用 float4 一次读取 4 个场分量(简化示意)

const float4* fieldFloat4 = reinterpret_cast<const float4*>(field);

float4 group0 = make_float4(f[0], f[1], f[2], f[3]);

float4 group1 = make_float4(f[4], f[5], f[6], f[7]);

float4 cornerGroup0;

float4 cornerGroup1;

 

cornerGroup0 = fieldFloat4[index0];

cornerGroup1 = fieldFloat4[index1];

group0.x += coes[0] * cornerGroup0.x;

/* ... y, z, w 以及 group1 和下个一顶点 ... */

做法:我们把一起使用的量打包成对齐的 float4(双精度时为 double2),读一个顶点只需 2 条 128 位向量加载(双精度 4 条),指令数和内存事务都大幅减少(图 9)。

图 9. 打包存储与向量化读取

效果:粒子部分总体加速约 2.97 倍。

5. 用 CUB 按网格单元排序粒子

问题:粒子不断运动,内存中相邻的粒子会逐渐散落到各处。同一 warp 的线程如果处理相距很远的粒子,读到的网格数据就分散在许多缓存行里,缓存几乎无法复用。

做法:我们以 SoA 方式存储粒子,并记录每个粒子所在的网格单元编号。每隔若干步,以单元编号为键调用 cub::DeviceRadixSort::SortPairs,再按排序后的索引重排粒子数组(图 10)。

图 10. 排序前后同一 warp 的粒子分布

效果:排序后同一 warp 读取的大多是同一两个单元的数据,缓存命中率显著提高,粒子部分总体再加速约 6.32 倍。

第三阶段:让粒子写回更快

6. 多重沉积缓冲区:把热点分散开

问题:沉积时,每个采样点要把压强累加到周围 8 个顶点上。许多线程同时更新同一顶点只能用 atomicAdd 排队完成。排序让粒子更集中,反而加剧了这种冲突。

做法:我们为压强场准备 16 份副本,粒子按 picId % 16 选择写入哪一份,冲突被分散到 16 个地址;沉积完成后,由一个轻量的 kernel 把副本合并(图 11)。

效果:粒子部分总体再加速约 1.14 倍。

图 11. 单一缓冲区与多重缓冲区(以 4 份缓冲区为例)

7. warp 内同址聚合:先合并,再写回

问题:多重缓冲区分散了写入位置,但原子操作的总数没有减少。

做法:我们把目标为同一组 8 个顶点的线程分为一组,每个线程先算出对这 8 个顶点的贡献,再用 __shfl_sync 在组内做树形求和,最后只由本组首线程执行 atomicAdd(图 12)。对于包含 m 个线程的组,原子操作从 8m 次降到 8 次。

图 12. warp 内同址聚合:组内先用 shuffle 树形求和,再由组首线程执行原子加

代码 4. 组内树形求和后再执行原子加(简化示意)

for (int index = 0; index < 8; index++)                              //对8个顶点的贡献

    warpDeposit[index] = coes[index] * pres;

 

for (int delta = 1; delta < depositCount; delta <<= 1u) {        //组内树形求和

    int sourceRank = depositRank + delta;

    int sourceLane = sourceRank < depositCount ? __fns(depositPeers, 0u, sourceRank + 1) : depositLane;

    bool addPeer = (depositRank & ((delta << 1u) - 1u)) == 0u && sourceRank < depositCount;

    for (int index = 0; index < 8; index++) {

        picReal leaf = __shfl_sync(depositPeers, warpDeposit[index], sourceLane);

        if (addPeer) warpDeposit[index] += leaf;

    }

}

 

if (depositRank == 0) {atomicAdd(&field[address], warpDeposit[0]); ...}    //原子加

效果:粒子部分总体再加速约 1.18 倍。

加速效果:从工作站到 ITER 全环

图 13 汇总了各项优化的累计效果:场推进的三项优化减少了冗余计算和访存,并加快了泊松方程求解;粒子部分的四项优化先改善局部性、再缓解写回冲突,叠加后加速更为可观。

图 13. 各项优化叠加后 MHD 与 PIC 部分的累计加速比

图 14 应用NVIDIA Nsight Compute 进一步对粒子部分优化前后的访存行为进行了深入分析。结果表明,优化后 L1/TEX 读命中率由 19.8% 提升至 92.1%,L2 读访问扇区数降至优化前的 1.30%,表明数据复用显著增强,向下级缓存发出的读访问大幅减少。同时,沉积归约操作的 L1/TEX Wavefronts 和 L2 扇区数分别减少 66.4% 和 54.0%,说明沉积阶段的访存处理工作量也得到有效压缩。这些结果从硬件指标层面验证了粒子部分优化的有效性。

图 14. 利用 Nsight Compute 对优化过后的 PIC 部分进行分析

目前在 ITPA TAE 基准算例(256×64×16 网格)上,一个完整时间步在单张 Ada Lovelace 架构 GeForce GPU 上仅需 19.8 毫秒。一个 ITER 稳态全环算例(约 710 万网格点、约 51 亿个粒子)在 8 张 Ampere 架构数据中心GPU 上运行 20,000 步仅需 4.9 小时。过去要在大型集群上计算数天的研究,现在一台多 GPU 服务器就有望当天完成。

要点总结

把不变的工作移出时间循环:几何系数预计算,稀疏矩阵只分解一次。

让数据布局贴合线程布局:warp 恰好覆盖周期方向时,shuffle 能替代大量访存,还顺带处理了周期边界。

用多流“喂饱”GPU:面对许多小规模独立问题,用 Nsight Systems 帮助决定是否采用多流并发处理。

不规则读写,先改善局部性、再缓解冲突:排序和打包让读取更连续,多重缓冲区和 warp 内聚合让写回少排队。

站在库的肩膀上:cuDSS,cuFFT,CUB 和 NCCL 处理好通用难题,我们得以专注于物理本身。

接下来,我们正在为 cuGMEC 加入三维平衡位型例如仿星器的支持。更高的计算效率让更大范围的参数扫描,更精细的物理模拟,以及与实验的对比,乃至数字孪生成为可能,也让聚变能源离现实更近一步。

开始使用

论文:cuGMEC: A High-Performance Code for Gyrokinetic-MHD Hybrid Simulation on GPUs with CUDA C++,Computer Physics Communications 327, 110249 (2026);物理模型见 GMEC 系列论文 I、II。

代码:github.com/29syliu/cuGMEC。在真实装置参数下模拟需要准备平衡与度规等输入,欢迎联系我们。

NVIDIA 库与工具:cuDSS,CUB,cuFFT,NCCL,Nsight Systems,Nsight Compute;延伸阅读 Using CUDA Warp-Level Primitives

标签