解析在线大模型服务中的流水线气泡、动态分块和解码请求重平衡。
最新文章
SGLang: Efficient Execution of Structured Language Model Programs
从编程模型、前缀缓存到受约束解码，解析 SGLang 论文。
nixl 解读
阅读约
1 分钟
nixl
nixl解析
bpftime简介
bpftime 的定位、架构、性能边界与工程落地建议
NVIDIA Resiliency Extension (NVRx) 简介
阅读约
1 分钟
NVRx
介绍NVRx的基础知识
AMPeD: An Analytical Model for Performance in Distributed Training of Transformers
阅读约
1 分钟
paper
AMPeD：Transformer分布式训练性能分析模型