通过交互时间轴比较 GPipe、普通 1F1B 和 Interleaved 的调度、Bubble、Activation 与通信开销。
最新文章
Megatron Core 0.8-0.20 技术演进
阅读约
1 分钟
Megatron Core
分布式训练
梳理 Megatron Core 0.8-0.20 的模型结构、数据流、并行布局与训练系统演进。
KV Cache 的前世今生
从注意力机制、KV 缓存结构到长上下文和推理系统,梳理 KV Cache 的演进与工程权衡。
Revisiting Pipeline Parallelism for LLM Serving
解析在线大模型服务中的流水线气泡、动态分块和解码请求重平衡。
SGLang: Efficient Execution of Structured Language Model Programs
从编程模型、前缀缓存到受约束解码,解析 SGLang 论文。
nixl 解读
阅读约
1 分钟
nixl
nixl解析