Pipeline 调度:GPipe、1F1B 与 Interleaved

三种流水调度

PP=4、m=8、v=2(Interleaved);三种方案按相同计算量和时间尺度比较。

  • GPipe 先完成这一轮的所有前向,再开始反向。
  • 普通 1F1B 在预热后交替执行前向和反向,更早释放已用完的前向状态。
  • Interleaved 1F1B 让每张 GPU 执行两个 Model Chunk,用更短的计算块填充流水线。
GPipe、1F1B 与 Interleaved:相同时间刻度的完整训练迭代
GPipe、普通 1F1B、Interleaved 1F1B 的同步完整执行时间轴横轴采用统一时间单位,纵轴各为 4 张 GPU。蓝色是前向,绿色是反向,灰色为空闲,交错模式浅色代表第二个 Chunk。前三种总耗时依次为 33、33、28.5。GPipe · All Forward / All BackwardT = 33GPU 0gpipe GPU0 F m0 C0, t=0–1F0gpipe GPU0 F m1 C0, t=1–2F1gpipe GPU0 F m2 C0, t=2–3F2gpipe GPU0 F m3 C0, t=3–4F3gpipe GPU0 F m4 C0, t=4–5F4gpipe GPU0 F m5 C0, t=5–6F5gpipe GPU0 F m6 C0, t=6–7F6gpipe GPU0 F m7 C0, t=7–8F7gpipe GPU0 B m0 C0, t=17–19B0gpipe GPU0 B m1 C0, t=19–21B1gpipe GPU0 B m2 C0, t=21–23B2gpipe GPU0 B m3 C0, t=23–25B3gpipe GPU0 B m4 C0, t=25–27B4gpipe GPU0 B m5 C0, t=27–29B5gpipe GPU0 B m6 C0, t=29–31B6gpipe GPU0 B m7 C0, t=31–33B7GPU 1gpipe GPU1 F m0 C0, t=1–2F0gpipe GPU1 F m1 C0, t=2–3F1gpipe GPU1 F m2 C0, t=3–4F2gpipe GPU1 F m3 C0, t=4–5F3gpipe GPU1 F m4 C0, t=5–6F4gpipe GPU1 F m5 C0, t=6–7F5gpipe GPU1 F m6 C0, t=7–8F6gpipe GPU1 F m7 C0, t=8–9F7gpipe GPU1 B m0 C0, t=15–17B0gpipe GPU1 B m1 C0, t=17–19B1gpipe GPU1 B m2 C0, t=19–21B2gpipe GPU1 B m3 C0, t=21–23B3gpipe GPU1 B m4 C0, t=23–25B4gpipe GPU1 B m5 C0, t=25–27B5gpipe GPU1 B m6 C0, t=27–29B6gpipe GPU1 B m7 C0, t=29–31B7GPU 2gpipe GPU2 F m0 C0, t=2–3F0gpipe GPU2 F m1 C0, t=3–4F1gpipe GPU2 F m2 C0, t=4–5F2gpipe GPU2 F m3 C0, t=5–6F3gpipe GPU2 F m4 C0, t=6–7F4gpipe GPU2 F m5 C0, t=7–8F5gpipe GPU2 F m6 C0, t=8–9F6gpipe GPU2 F m7 C0, t=9–10F7gpipe GPU2 B m0 C0, t=13–15B0gpipe GPU2 B m1 C0, t=15–17B1gpipe GPU2 B m2 C0, t=17–19B2gpipe GPU2 B m3 C0, t=19–21B3gpipe GPU2 B m4 C0, t=21–23B4gpipe GPU2 B m5 C0, t=23–25B5gpipe GPU2 B m6 C0, t=25–27B6gpipe GPU2 B m7 C0, t=27–29B7GPU 3gpipe GPU3 F m0 C0, t=3–4F0gpipe GPU3 F m1 C0, t=4–5F1gpipe GPU3 F m2 C0, t=5–6F2gpipe GPU3 F m3 C0, t=6–7F3gpipe GPU3 F m4 C0, t=7–8F4gpipe GPU3 F m5 C0, t=8–9F5gpipe GPU3 F m6 C0, t=9–10F6gpipe GPU3 F m7 C0, t=10–11F7gpipe GPU3 B m0 C0, t=11–13B0gpipe GPU3 B m1 C0, t=13–15B1gpipe GPU3 B m2 C0, t=15–17B2gpipe GPU3 B m3 C0, t=17–19B3gpipe GPU3 B m4 C0, t=19–21B4gpipe GPU3 B m5 C0, t=21–23B5gpipe GPU3 B m6 C0, t=23–25B6gpipe GPU3 B m7 C0, t=25–27B7Flush t=33Non-interleaved 1F1BT = 33GPU 01f1b GPU0 F m0 C0, t=0–1F01f1b GPU0 F m1 C0, t=1–2F11f1b GPU0 F m2 C0, t=2–3F21f1b GPU0 F m3 C0, t=3–4F31f1b GPU0 B m0 C0, t=10–12B01f1b GPU0 F m4 C0, t=12–13F41f1b GPU0 B m1 C0, t=13–15B11f1b GPU0 F m5 C0, t=15–16F51f1b GPU0 B m2 C0, t=16–18B21f1b GPU0 F m6 C0, t=18–19F61f1b GPU0 B m3 C0, t=19–21B31f1b GPU0 F m7 C0, t=21–22F71f1b GPU0 B m4 C0, t=22–24B41f1b GPU0 B m5 C0, t=25–27B51f1b GPU0 B m6 C0, t=28–30B61f1b GPU0 B m7 C0, t=31–33B7GPU 11f1b GPU1 F m0 C0, t=1–2F01f1b GPU1 F m1 C0, t=2–3F11f1b GPU1 F m2 C0, t=3–4F21f1b GPU1 B m0 C0, t=8–10B01f1b GPU1 F m3 C0, t=10–11F31f1b GPU1 B m1 C0, t=11–13B11f1b GPU1 F m4 C0, t=13–14F41f1b GPU1 B m2 C0, t=14–16B21f1b GPU1 F m5 C0, t=16–17F51f1b GPU1 B m3 C0, t=17–19B31f1b GPU1 F m6 C0, t=19–20F61f1b GPU1 B m4 C0, t=20–22B41f1b GPU1 F m7 C0, t=22–23F71f1b GPU1 B m5 C0, t=23–25B51f1b GPU1 B m6 C0, t=26–28B61f1b GPU1 B m7 C0, t=29–31B7GPU 21f1b GPU2 F m0 C0, t=2–3F01f1b GPU2 F m1 C0, t=3–4F11f1b GPU2 B m0 C0, t=6–8B01f1b GPU2 F m2 C0, t=8–9F21f1b GPU2 B m1 C0, t=9–11B11f1b GPU2 F m3 C0, t=11–12F31f1b GPU2 B m2 C0, t=12–14B21f1b GPU2 F m4 C0, t=14–15F41f1b GPU2 B m3 C0, t=15–17B31f1b GPU2 F m5 C0, t=17–18F51f1b GPU2 B m4 C0, t=18–20B41f1b GPU2 F m6 C0, t=20–21F61f1b GPU2 B m5 C0, t=21–23B51f1b GPU2 F m7 C0, t=23–24F71f1b GPU2 B m6 C0, t=24–26B61f1b GPU2 B m7 C0, t=27–29B7GPU 31f1b GPU3 F m0 C0, t=3–4F01f1b GPU3 B m0 C0, t=4–6B01f1b GPU3 F m1 C0, t=6–7F11f1b GPU3 B m1 C0, t=7–9B11f1b GPU3 F m2 C0, t=9–10F21f1b GPU3 B m2 C0, t=10–12B21f1b GPU3 F m3 C0, t=12–13F31f1b GPU3 B m3 C0, t=13–15B31f1b GPU3 F m4 C0, t=15–16F41f1b GPU3 B m4 C0, t=16–18B41f1b GPU3 F m5 C0, t=18–19F51f1b GPU3 B m5 C0, t=19–21B51f1b GPU3 F m6 C0, t=21–22F61f1b GPU3 B m6 C0, t=22–24B61f1b GPU3 F m7 C0, t=24–25F71f1b GPU3 B m7 C0, t=25–27B7Flush t=33Interleaved 1F1B · v=2T = 28.5GPU 0interleaved GPU0 F m0 C0, t=0–0.5interleaved GPU0 F m1 C0, t=0.5–1interleaved GPU0 F m2 C0, t=1–1.5interleaved GPU0 F m3 C0, t=1.5–2interleaved GPU0 F m0 C1, t=2–2.5interleaved GPU0 F m1 C1, t=2.5–3interleaved GPU0 F m2 C1, t=3–3.5interleaved GPU0 F m3 C1, t=3.5–4interleaved GPU0 F m4 C0, t=4–4.5interleaved GPU0 F m5 C0, t=4.5–5interleaved GPU0 F m6 C0, t=5–5.5interleaved GPU0 B m0 C1, t=7–8B0interleaved GPU0 F m7 C0, t=8–8.5interleaved GPU0 B m1 C1, t=8.5–9.5B1interleaved GPU0 F m4 C1, t=10–10.5interleaved GPU0 B m2 C1, t=10.5–11.5B2interleaved GPU0 F m5 C1, t=11.5–12interleaved GPU0 B m3 C1, t=12–13B3interleaved GPU0 F m6 C1, t=13–13.5interleaved GPU0 B m0 C0, t=13.5–14.5B0interleaved GPU0 F m7 C1, t=14.5–15interleaved GPU0 B m1 C0, t=15–16B1interleaved GPU0 B m2 C0, t=16–17B2interleaved GPU0 B m3 C0, t=17.5–18.5B3interleaved GPU0 B m4 C1, t=19–20B4interleaved GPU0 B m5 C1, t=20.5–21.5B5interleaved GPU0 B m6 C1, t=22–23B6interleaved GPU0 B m7 C1, t=23.5–24.5B7interleaved GPU0 B m4 C0, t=24.5–25.5B4interleaved GPU0 B m5 C0, t=25.5–26.5B5interleaved GPU0 B m6 C0, t=26.5–27.5B6interleaved GPU0 B m7 C0, t=27.5–28.5B7GPU 1interleaved GPU1 F m0 C0, t=0.5–1interleaved GPU1 F m1 C0, t=1–1.5interleaved GPU1 F m2 C0, t=1.5–2interleaved GPU1 F m3 C0, t=2–2.5interleaved GPU1 F m0 C1, t=2.5–3interleaved GPU1 F m1 C1, t=3–3.5interleaved GPU1 F m2 C1, t=3.5–4interleaved GPU1 F m3 C1, t=4–4.5interleaved GPU1 F m4 C0, t=4.5–5interleaved GPU1 B m0 C1, t=6–7B0interleaved GPU1 F m5 C0, t=7–7.5interleaved GPU1 B m1 C1, t=7.5–8.5B1interleaved GPU1 F m6 C0, t=8.5–9interleaved GPU1 B m2 C1, t=9–10B2interleaved GPU1 F m7 C0, t=10–10.5interleaved GPU1 B m3 C1, t=10.5–11.5B3interleaved GPU1 F m4 C1, t=11.5–12interleaved GPU1 B m0 C0, t=12–13B0interleaved GPU1 F m5 C1, t=13–13.5interleaved GPU1 B m1 C0, t=13.5–14.5B1interleaved GPU1 F m6 C1, t=14.5–15interleaved GPU1 B m2 C0, t=15–16B2interleaved GPU1 F m7 C1, t=16–16.5interleaved GPU1 B m3 C0, t=16.5–17.5B3interleaved GPU1 B m4 C1, t=18–19B4interleaved GPU1 B m5 C1, t=19.5–20.5B5interleaved GPU1 B m6 C1, t=21–22B6interleaved GPU1 B m7 C1, t=22.5–23.5B7interleaved GPU1 B m4 C0, t=23.5–24.5B4interleaved GPU1 B m5 C0, t=24.5–25.5B5interleaved GPU1 B m6 C0, t=25.5–26.5B6interleaved GPU1 B m7 C0, t=26.5–27.5B7GPU 2interleaved GPU2 F m0 C0, t=1–1.5interleaved GPU2 F m1 C0, t=1.5–2interleaved GPU2 F m2 C0, t=2–2.5interleaved GPU2 F m3 C0, t=2.5–3interleaved GPU2 F m0 C1, t=3–3.5interleaved GPU2 F m1 C1, t=3.5–4interleaved GPU2 F m2 C1, t=4–4.5interleaved GPU2 B m0 C1, t=5–6B0interleaved GPU2 F m3 C1, t=6–6.5interleaved GPU2 B m1 C1, t=6.5–7.5B1interleaved GPU2 F m4 C0, t=7.5–8interleaved GPU2 B m2 C1, t=8–9B2interleaved GPU2 F m5 C0, t=9–9.5interleaved GPU2 B m3 C1, t=9.5–10.5B3interleaved GPU2 F m6 C0, t=10.5–11interleaved GPU2 B m0 C0, t=11–12B0interleaved GPU2 F m7 C0, t=12–12.5interleaved GPU2 B m1 C0, t=12.5–13.5B1interleaved GPU2 F m4 C1, t=13.5–14interleaved GPU2 B m2 C0, t=14–15B2interleaved GPU2 F m5 C1, t=15–15.5interleaved GPU2 B m3 C0, t=15.5–16.5B3interleaved GPU2 F m6 C1, t=16.5–17interleaved GPU2 B m4 C1, t=17–18B4interleaved GPU2 F m7 C1, t=18–18.5interleaved GPU2 B m5 C1, t=18.5–19.5B5interleaved GPU2 B m6 C1, t=20–21B6interleaved GPU2 B m7 C1, t=21.5–22.5B7interleaved GPU2 B m4 C0, t=22.5–23.5B4interleaved GPU2 B m5 C0, t=23.5–24.5B5interleaved GPU2 B m6 C0, t=24.5–25.5B6interleaved GPU2 B m7 C0, t=25.5–26.5B7GPU 3interleaved GPU3 F m0 C0, t=1.5–2interleaved GPU3 F m1 C0, t=2–2.5interleaved GPU3 F m2 C0, t=2.5–3interleaved GPU3 F m3 C0, t=3–3.5interleaved GPU3 F m0 C1, t=3.5–4interleaved GPU3 B m0 C1, t=4–5B0interleaved GPU3 F m1 C1, t=5–5.5interleaved GPU3 B m1 C1, t=5.5–6.5B1interleaved GPU3 F m2 C1, t=6.5–7interleaved GPU3 B m2 C1, t=7–8B2interleaved GPU3 F m3 C1, t=8–8.5interleaved GPU3 B m3 C1, t=8.5–9.5B3interleaved GPU3 F m4 C0, t=9.5–10interleaved GPU3 B m0 C0, t=10–11B0interleaved GPU3 F m5 C0, t=11–11.5interleaved GPU3 B m1 C0, t=11.5–12.5B1interleaved GPU3 F m6 C0, t=12.5–13interleaved GPU3 B m2 C0, t=13–14B2interleaved GPU3 F m7 C0, t=14–14.5interleaved GPU3 B m3 C0, t=14.5–15.5B3interleaved GPU3 F m4 C1, t=15.5–16interleaved GPU3 B m4 C1, t=16–17B4interleaved GPU3 F m5 C1, t=17–17.5interleaved GPU3 B m5 C1, t=17.5–18.5B5interleaved GPU3 F m6 C1, t=18.5–19interleaved GPU3 B m6 C1, t=19–20B6interleaved GPU3 F m7 C1, t=20–20.5interleaved GPU3 B m7 C1, t=20.5–21.5B7interleaved GPU3 B m4 C0, t=21.5–22.5B4interleaved GPU3 B m5 C0, t=22.5–23.5B5interleaved GPU3 B m6 C0, t=23.5–24.5B6interleaved GPU3 B m7 C0, t=24.5–25.5B7Flush t=28.5同一时间尺度:一格 = 普通 Stage 前向的 0.5 倍时间;反向计算是前向的 2 倍。原论文图与本图都采用理想均衡计算的示意假设。
蓝色 Forward,绿色 Backward,灰色空闲。Interleaved 中深色为 C0、浅色为 C1;F/B 为同一 Microbatch 不同阶段的操作。此图使用正文离散调度器生成,不是 GPU Trace;普通 Stage 的 F=1、B=2;Interleaved 中单 Chunk 的 F=0.5、B=1。

1F1B 调度:Warmup、Steady、Cooldown

理论迭代时长 单 GPU 空闲占比 GPU 0 峰值 Activation (按 A 当量计)

所有模式共用同一刻度,每格是普通 Stage 一次前向的半个时间单位。蓝色表示前向,绿色表示反向,灰色表示等待。交错模式用深浅区分 Chunk,深色为 C0,浅色为 C1。

金色边框标出所选 Microbatch,深色边框标出当前格的操作。可横向滚动,或点击色块跳转。切换模式时保留时间和所选 Microbatch。

可以先跟踪 m0。GPipe 要等这一轮全部前向做完。普通 1F1B 中,m0 在 GPU 3 做完前向即可开始反向。在 Interleaved 中,注意它的前向从 GPU 3 的 Chunk 0 回到 GPU 0 的 Chunk 1,然后再走到 GPU 3。

普通 1F1B 没有缩短 Bubble

假设各 Stage 的计算均衡,忽略通信耗时。设 p 为 Stage 数,m 为本轮 Microbatch 数。每个 Stage 做一次前向花 tf,做一次反向花 tb。

  1. 整轮前向。第一份 Microbatch 依次经过 p 个 Stage,需要 p · tf。在此期间,后续 Microbatch 已在其他 GPU 上并行执行。第一份完成时,第二份只剩最后一个 Stage,因此再过 tf 就能完成。之后每隔 tf 完成一份,剩余的 m − 1 份共需要 (m − 1) · tf。整轮前向耗时为 (m + p − 1) · tf。以本例的一次前向为一格,m0 在第 4 格结束时完成,m1 在第 5 格结束时完成,最后一份 m7 在第 11 格结束时完成。
  2. 整轮反向。GPipe 在全部前向完成后开始反向。第一份 Microbatch 沿相反方向依次经过 p 个 Stage,需要 p · tb。随后每隔 tb 完成一份,剩余的 m − 1 份共需要 (m − 1) · tb。整轮反向耗时为 (m + p − 1) · tb。
  3. 单卡空闲时间。整轮耗时等于前向和反向耗时之和。每张 GPU 对 m 份 Microbatch 各执行一次前向和一次反向,忙碌时间为 m · (tf + tb)。整轮耗时减去忙碌时间,就是这张 GPU 的空闲时间。
Ttotal = (m + p − 1) · (tf + tb)
Tideal = m · (tf + tb)
Tbubble = Ttotal − Tideal = (p − 1) · (tf + tb)

用空闲时间除以整轮耗时,分子分母的 (tf + tb) 可以约掉。代入 p=4、m=8、tf=1、tb=2,整轮耗时 33,单卡忙碌 24,空闲 9。

Bubble / 总耗时 = (p − 1) / (m + p − 1) = 9 / 33 ≈ 27.27%
Bubble / 有效计算 = (p − 1) / m = 9 / 24 = 37.5%
前者是交互显示的空闲占比,后者是论文采用的归一化开销。

Activation:从存活份数到可比较的存储当量

GPU 0 的待反向 Activation(单位:完整 Stage 单份状态的存储当量)
假设 GPipe/普通 1F1B 每个 Microbatch 的单 Stage 状态占 A 字节;Interleaved 的 C0/C1 分别占 αA 与 (1−α)A。曲线统计前向完成后、对应反向完成前的存活状态,不包括暂存、重计算、通信缓冲区与内存分配器预留。
0.50A当前 Interleaved 峰值:5.50A

固定 A 为普通完整 Stage 的单份存储量;C1 = (1 − α)A。该参数是教学假设,不表示层数均分就必然得到等分的实际 Activation 字节数。

单看「Microbatch × Chunk」会把 Interleaved 的两个半 Stage 状态误当成完整 Stage。GPU 0 在本文模拟中的原始峰值为 11 个 Chunk 状态;当 C0、C1 的每份状态各为 0.5A 时,可比的峰值是 5.5A,不是 11A。权重 α 用于观察两段层组的 Activation 大小不同时,峰值如何变化。

Interleaved 缩短 Bubble

每张 GPU 执行两个 Chunk

取 v=2,把整个模型按层顺序分成八个逻辑 Stage,仍由四张 GPU 执行。GPU 0 承担 S0 和 S4,GPU 1 承担 S1 和 S5,依此类推。切分均衡时,每个 Chunk 的计算时间约为原物理 Stage 的一半。

v=2:GPU 与 Model Chunk 的映射
GPU 0S0 · Chunk 0第 1 段层组S4 · Chunk 1第 5 段层组GPU 1S1 · Chunk 0第 2 段层组S5 · Chunk 1第 6 段层组GPU 2S2 · Chunk 0第 3 段层组S6 · Chunk 1第 7 段层组GPU 3S3 · Chunk 0第 4 段层组S7 · Chunk 1第 8 段层组S3 → S4:模型顺序跨 Chunk,数据从 GPU 3 返回 GPU 0前半层Chunk 0后半层Chunk 1
S0–S7:模型层顺序;GPU0–GPU3:物理设备。跨 Chunk 的前向从 GPU 3 返回 GPU 0。

m0 先走完 S0 到 S3,再从 GPU 3 回到 GPU 0 进行 S4,最后走到 S7。反向按相反的顺序传递梯度。上方交互中的行始终对应物理 GPU,格子里的 C0、C1 表示这一时段执行的是哪个 Chunk。

从时间轴计算 Bubble

只看两行 Device 1,并在各自第一条黑色竖线停下。取上图一个蓝色前向块的宽度为 1。上图的反向宽 2,下图把每个 Chunk 的前向和反向分别画成 0.5 和 1。浅蓝和浅绿对应后半段 Chunk,深蓝和深绿对应前半段 Chunk。

原论文中上方为非交错1F1B时间轴,下方为每设备两个Model Chunk的Interleaved时间轴;不同深浅颜色区分Chunk
上图为普通 1F1B,下图为 Interleaved 1F1B(v=2)。黑线上的 33 和 28.5 是本文标出的第一轮结束时间。图中从 Microbatch 1 编号,交互中的 m0 对应图中的 1。
Device 1,直到第一次 Flush普通 1F1BInterleaved 1F1B
有色块的总宽度8 × (1 + 2) = 2416 × (0.5 + 1) = 24
从起点到黑线的总宽度3328.5
灰色块的总宽度33 − 24 = 928.5 − 24 = 4.5

每张 GPU 的有效计算时间保持为 m·(t_f+t_b)=24。原来填充和排空的空闲长度合计为 (p−1)·(t_f+t_b)=9;现在每个 Chunk 的 F/B 时长各缩小到原来的 1/v,按论文中的分组交错调度,理想空闲时间变为 9/v=4.5。

Tideal = m · (tf + tb) = 8 × 3 = 24
Tbubble,int = [(p − 1) / v] · (tf + tb) = 3 / 2 × 3 = 4.5
Ttotal,int = Tideal + Tbubble,int = 24 + 4.5 = 28.5
Bubble / 有效计算 = (p − 1) / (m v) = 4.5 / 24 = 18.75%
Bubble / 总耗时 = (p − 1) / (m v + p − 1) = 4.5 / 28.5 ≈ 15.79%
t_f=1、t_b=2,p=4、m=8、v=2。只适用于均衡 Chunk、符合该交错调度的 Microbatch 分组、忽略通信和其他等待的理想情形;不是实测加速比。

通信开销:每个方向从 3 次传递增加到 7 次

普通 PP=4 中,每份 Microbatch 的前向沿 GPU 0 → 1 → 2 → 3 传递 3 次,反向沿原路返回。Interleaved v=2 让前向走完两次这条链,再加一次连接两段的 GPU 3 → 0,合计 7 次。反向同样传递 7 次。

每个方向,每份 Microbatch普通 1F1BInterleaved,v=2
原来的三对相邻 GPU每对 1 次每对 2 次
连接两个 Chunk 的边界0 次1 次
整个 Pipeline 的传递次数3 次7 次

在同一方向的各边界张量等大时,整个 Pipeline 的传输字节数也增至 7/3 倍。论文 §2.2.2 用 v 倍描述通信量的增幅。在这个映射下,原有相邻 GPU 对上的传递次数恰好增至 v 倍,全链路统计还要算上连接 Chunk 的边界。

额外边界可能走节点内互联,也可能走跨节点网络。具体耗时还受张量大小、消息启动开销和与其他并行通信的带宽竞争影响。

交错调度何时更快:18 ms 的理论收益

令普通 Stage 的 tf + tb = 12 ms,仍取 p=4、m=8、v=2。普通 1F1B 的理想迭代耗时为 (8 + 3) × 12 = 132 ms,Interleaved 为 (8 + 1.5) × 12 = 114 ms。理论节省 18 ms。

10 ms
普通 1F1B
132 ms
Interleaved 1F1B
124 ms

滑块表示相对普通 1F1B 新增的端到端关键路径耗时。通信已经被计算重叠覆盖的部分不计入新增耗时。图中数值来自模型推导。

ΔTbubble = (p − 1) · (1 − 1/v) · (tf + tb)
有净收益的条件为 ΔTextra, critical < ΔTbubble

按层切小 Chunk 会减少每段执行的层数。在 Microbatch 大小、序列长度和张量并行切分相同的情况下,单层 GEMM 的形状通常保持不变。实测时固定模型、批量大小、序列长度、重计算和并行配置,对比 Step Time、Tokens/s、Activation 峰值,并用 GPU Trace 核对通信等待与重叠。

Megatron Core:调度在源码中的位置

Megatron Core 0.18.0 由 get_forward_backward_func() 根据 PP/VPP 配置选择调度。普通 1F1B 与 Interleaved 分别由两个入口执行;后者用调度表关联 Microbatch 和 Model Chunk。P2PCommunicator 承担相邻 Pipeline Stage 之间的张量收发。

本文概念Megatron Core 对应接口作用
选择调度get_forward_backward_func根据 PP / VPP 选择前反向调度
普通 1F1Bforward_backward_pipelining_without_interleaving按物理 PP Stage 执行预热、稳态、排空
Interleavedforward_backward_pipelining_with_interleaving为多个 Model Chunk 安排 F/B 与通信
Microbatch/Chunk 顺序get_schedule_table
get_pp_rank_microbatches
生成调度表与各阶段 Microbatch 数
跨 Stage 通信P2PCommunicator
send_forward_recv_backward
send_backward_recv_forward
交换前向 Activation 和反向 Gradient

以上是 v0.18.0 公开 API 的职责映射,不表示本页离散模拟器逐行复现了该版本源码;当前模型不模拟 NCCL 发包、重计算、梯度同步或通信重叠。Schedules API · P2P API

三种调度的收益与代价

同一轮训练GPipe普通 1F1BInterleaved 1F1B
GPU 0 的调度集中做完 F,再做 B预热后交替 F/B跨两个 Chunk 交替 F/B
理想空闲占比27.27%27.27%15.79%
GPU 0 峰值 Activation(A 当量)8A4A5.5A(α=0.50;11 个 Chunk 状态)
每份 Microbatch 的跨卡传递每个方向 3 次每个方向 3 次每个方向 7 次

普通 1F1B 的直接收益是更早释放前向状态。Interleaved 节省了理想空闲时间,实际能否提高吞吐取决于这部分节省能覆盖多少新增关键路径开销。

参考文献

  1. Narayanan et al., Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM, SC 2021。§2.2 和 Figure 3、4 给出调度、Bubble 与通信结论。
  2. Huang et al., GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism, NeurIPS 2019。§2.2 介绍 GPipe 的调度,§2.3 解释重计算如何改变要保留的激活。
  3. Megatron Core 0.18.0 Pipeline Schedules API。入口函数、预热计数、调度表与通信张量形状。
  4. Megatron Core 0.18.0 P2P Communication API。包含 P2PCommunicator 的 Pipeline 点对点收发接口。