Tailai Ma

Tailai Ma 是 NVIDIA 的 AI 开发者和技术工程师,专注于优化和加速 LLM 训练,并为 Megatron-Core 和 Transformer-Engine 做出了贡献。他拥有北京大学的博士学位。

Posts by Tailai Ma

智能体/生成式 AI

借助动态上下文并行和 NVIDIA Megatron Core 加速可变长度训练

本文将介绍动态上下文并行(Dynamic Context Parallelism,Dynamic-CP), 4 MIN READ