三种流水调度
PP=4、m=8、v=2(Interleaved);三种方案按相同计算量和时间尺度比较。
- GPipe 先完成这一轮的所有前向,再开始反向。
- 普通 1F1B 在预热后交替执行前向和反向,更早释放已用完的前向状态。
- Interleaved 1F1B 让每张 GPU 执行两个 Model Chunk,用更短的计算块填充流水线。
1F1B 调度:Warmup、Steady、Cooldown
所有模式共用同一刻度,每格是普通 Stage 一次前向的半个时间单位。蓝色表示前向,绿色表示反向,灰色表示等待。交错模式用深浅区分 Chunk,深色为 C0,浅色为 C1。
金色边框标出所选 Microbatch,深色边框标出当前格的操作。可横向滚动,或点击色块跳转。切换模式时保留时间和所选 Microbatch。
可以先跟踪 m0。GPipe 要等这一轮全部前向做完。普通 1F1B 中,m0 在 GPU 3 做完前向即可开始反向。在 Interleaved 中,注意它的前向从 GPU 3 的 Chunk 0 回到 GPU 0 的 Chunk 1,然后再走到 GPU 3。
普通 1F1B 没有缩短 Bubble
假设各 Stage 的计算均衡,忽略通信耗时。设 p 为 Stage 数,m 为本轮 Microbatch 数。每个 Stage 做一次前向花 tf,做一次反向花 tb。
- 整轮前向。第一份 Microbatch 依次经过 p 个 Stage,需要 p · tf。在此期间,后续 Microbatch 已在其他 GPU 上并行执行。第一份完成时,第二份只剩最后一个 Stage,因此再过 tf 就能完成。之后每隔 tf 完成一份,剩余的 m − 1 份共需要 (m − 1) · tf。整轮前向耗时为 (m + p − 1) · tf。以本例的一次前向为一格,m0 在第 4 格结束时完成,m1 在第 5 格结束时完成,最后一份 m7 在第 11 格结束时完成。
- 整轮反向。GPipe 在全部前向完成后开始反向。第一份 Microbatch 沿相反方向依次经过 p 个 Stage,需要 p · tb。随后每隔 tb 完成一份,剩余的 m − 1 份共需要 (m − 1) · tb。整轮反向耗时为 (m + p − 1) · tb。
- 单卡空闲时间。整轮耗时等于前向和反向耗时之和。每张 GPU 对 m 份 Microbatch 各执行一次前向和一次反向,忙碌时间为 m · (tf + tb)。整轮耗时减去忙碌时间,就是这张 GPU 的空闲时间。
用空闲时间除以整轮耗时,分子分母的 (tf + tb) 可以约掉。代入 p=4、m=8、tf=1、tb=2,整轮耗时 33,单卡忙碌 24,空闲 9。
Activation:从存活份数到可比较的存储当量
固定 A 为普通完整 Stage 的单份存储量;C1 = (1 − α)A。该参数是教学假设,不表示层数均分就必然得到等分的实际 Activation 字节数。
单看「Microbatch × Chunk」会把 Interleaved 的两个半 Stage 状态误当成完整 Stage。GPU 0 在本文模拟中的原始峰值为 11 个 Chunk 状态;当 C0、C1 的每份状态各为 0.5A 时,可比的峰值是 5.5A,不是 11A。权重 α 用于观察两段层组的 Activation 大小不同时,峰值如何变化。
Interleaved 缩短 Bubble
每张 GPU 执行两个 Chunk
取 v=2,把整个模型按层顺序分成八个逻辑 Stage,仍由四张 GPU 执行。GPU 0 承担 S0 和 S4,GPU 1 承担 S1 和 S5,依此类推。切分均衡时,每个 Chunk 的计算时间约为原物理 Stage 的一半。
m0 先走完 S0 到 S3,再从 GPU 3 回到 GPU 0 进行 S4,最后走到 S7。反向按相反的顺序传递梯度。上方交互中的行始终对应物理 GPU,格子里的 C0、C1 表示这一时段执行的是哪个 Chunk。
从时间轴计算 Bubble
只看两行 Device 1,并在各自第一条黑色竖线停下。取上图一个蓝色前向块的宽度为 1。上图的反向宽 2,下图把每个 Chunk 的前向和反向分别画成 0.5 和 1。浅蓝和浅绿对应后半段 Chunk,深蓝和深绿对应前半段 Chunk。
| Device 1,直到第一次 Flush | 普通 1F1B | Interleaved 1F1B |
|---|---|---|
| 有色块的总宽度 | 8 × (1 + 2) = 24 | 16 × (0.5 + 1) = 24 |
| 从起点到黑线的总宽度 | 33 | 28.5 |
| 灰色块的总宽度 | 33 − 24 = 9 | 28.5 − 24 = 4.5 |
每张 GPU 的有效计算时间保持为 m·(t_f+t_b)=24。原来填充和排空的空闲长度合计为 (p−1)·(t_f+t_b)=9;现在每个 Chunk 的 F/B 时长各缩小到原来的 1/v,按论文中的分组交错调度,理想空闲时间变为 9/v=4.5。
通信开销:每个方向从 3 次传递增加到 7 次
普通 PP=4 中,每份 Microbatch 的前向沿 GPU 0 → 1 → 2 → 3 传递 3 次,反向沿原路返回。Interleaved v=2 让前向走完两次这条链,再加一次连接两段的 GPU 3 → 0,合计 7 次。反向同样传递 7 次。
| 每个方向,每份 Microbatch | 普通 1F1B | Interleaved,v=2 |
|---|---|---|
| 原来的三对相邻 GPU | 每对 1 次 | 每对 2 次 |
| 连接两个 Chunk 的边界 | 0 次 | 1 次 |
| 整个 Pipeline 的传递次数 | 3 次 | 7 次 |
在同一方向的各边界张量等大时,整个 Pipeline 的传输字节数也增至 7/3 倍。论文 §2.2.2 用 v 倍描述通信量的增幅。在这个映射下,原有相邻 GPU 对上的传递次数恰好增至 v 倍,全链路统计还要算上连接 Chunk 的边界。
额外边界可能走节点内互联,也可能走跨节点网络。具体耗时还受张量大小、消息启动开销和与其他并行通信的带宽竞争影响。
交错调度何时更快:18 ms 的理论收益
令普通 Stage 的 tf + tb = 12 ms,仍取 p=4、m=8、v=2。普通 1F1B 的理想迭代耗时为 (8 + 3) × 12 = 132 ms,Interleaved 为 (8 + 1.5) × 12 = 114 ms。理论节省 18 ms。
滑块表示相对普通 1F1B 新增的端到端关键路径耗时。通信已经被计算重叠覆盖的部分不计入新增耗时。图中数值来自模型推导。
按层切小 Chunk 会减少每段执行的层数。在 Microbatch 大小、序列长度和张量并行切分相同的情况下,单层 GEMM 的形状通常保持不变。实测时固定模型、批量大小、序列长度、重计算和并行配置,对比 Step Time、Tokens/s、Activation 峰值,并用 GPU Trace 核对通信等待与重叠。
Megatron Core:调度在源码中的位置
Megatron Core 0.18.0 由 get_forward_backward_func() 根据 PP/VPP 配置选择调度。普通 1F1B 与 Interleaved 分别由两个入口执行;后者用调度表关联 Microbatch 和 Model Chunk。P2PCommunicator 承担相邻 Pipeline Stage 之间的张量收发。
| 本文概念 | Megatron Core 对应接口 | 作用 |
|---|---|---|
| 选择调度 | get_forward_backward_func | 根据 PP / VPP 选择前反向调度 |
| 普通 1F1B | forward_backward_pipelining_without_interleaving | 按物理 PP Stage 执行预热、稳态、排空 |
| Interleaved | forward_backward_pipelining_with_interleaving | 为多个 Model Chunk 安排 F/B 与通信 |
| Microbatch/Chunk 顺序 | get_schedule_tableget_pp_rank_microbatches | 生成调度表与各阶段 Microbatch 数 |
| 跨 Stage 通信 | P2PCommunicatorsend_forward_recv_backwardsend_backward_recv_forward | 交换前向 Activation 和反向 Gradient |
以上是 v0.18.0 公开 API 的职责映射,不表示本页离散模拟器逐行复现了该版本源码;当前模型不模拟 NCCL 发包、重计算、梯度同步或通信重叠。Schedules API · P2P API
三种调度的收益与代价
| 同一轮训练 | GPipe | 普通 1F1B | Interleaved 1F1B |
|---|---|---|---|
| GPU 0 的调度 | 集中做完 F,再做 B | 预热后交替 F/B | 跨两个 Chunk 交替 F/B |
| 理想空闲占比 | 27.27% | 27.27% | 15.79% |
| GPU 0 峰值 Activation(A 当量) | 8A | 4A | 5.5A(α=0.50;11 个 Chunk 状态) |
| 每份 Microbatch 的跨卡传递 | 每个方向 3 次 | 每个方向 3 次 | 每个方向 7 次 |
普通 1F1B 的直接收益是更早释放前向状态。Interleaved 节省了理想空闲时间,实际能否提高吞吐取决于这部分节省能覆盖多少新增关键路径开销。
参考文献
- Narayanan et al., Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM, SC 2021。§2.2 和 Figure 3、4 给出调度、Bubble 与通信结论。
- Huang et al., GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism, NeurIPS 2019。§2.2 介绍 GPipe 的调度,§2.3 解释重计算如何改变要保留的激活。
- Megatron Core 0.18.0 Pipeline Schedules API。入口函数、预热计数、调度表与通信张量形状。
- Megatron Core 0.18.0 P2P Communication API。包含
P2PCommunicator的 Pipeline 点对点收发接口。