梳理 Megatron Core 0.8-0.20 的模型结构、数据流、并行布局与训练系统演进。
最新文章
KV Cache 的前世今生
从注意力机制、KV 缓存结构到长上下文和推理系统，梳理 KV Cache 的演进与工程权衡。
Revisiting Pipeline Parallelism for LLM Serving
解析在线大模型服务中的流水线气泡、动态分块和解码请求重平衡。
SGLang: Efficient Execution of Structured Language Model Programs
从编程模型、前缀缓存到受约束解码，解析 SGLang 论文。
nixl 解读
阅读约
1 分钟
nixl
nixl解析
bpftime简介
bpftime 的定位、架构、性能边界与工程落地建议