Megatron

2026年 1月 28日

借助动态上下文并行和 NVIDIA Megatron Core 加速可变长度训练

本文介绍了应用于 NVIDIA Megatron Core 中的一种新型调度方法 — — 动态上下文并行 (Dynamic-CP) ，
4 MIN READ