全前缀重算与增量解码
模型并不是一次写出整句话,而是根据已经处理的 Token 预测下一个。每生成一个新 Token,模型仍要看历史;但看历史,不等于把历史的所有层重新计算一遍。这正是 KV Cache 要解决的问题。
用三个输入位置做一个可复算的对照:先把 The、␠cat 送入 Prefill,再把位置 3 的 ␠sat 送入 Decode,观察模型如何预测位置 4。这里的 ␠sat 是为了实验固定的第三个 Token,并不意味着模型一定会在 The cat 后生成它;␠ 表示前导空格。
位置 3 这一步,有两种计算方式:
| 阶段 | 不保留 KV:重算前缀 | 保留 KV:增量解码 |
|---|---|---|
| Prefill | 各层处理位置 1、2。跨步保留的 KV 长度为 0。 | 各层处理位置 1、2,保存 K/V 1–2。 |
| Decode | 各层重跑位置 1、2 并处理位置 3。q₃ 读取本步计算的 K/V 1–3。 | 各层只处理位置 3,追加 K₃/V₃ 后,q₃ 读取 K/V 1–3。该层缓存长度从 2 增至 3。 |
| 输出 | 位置 3 的结果经 LM head 得到位置 4 的 logits。 | 同样得到位置 4 的 logits,各层保留 K/V 1–3。 |
| 结束 | 跨步无 KV 状态。 | 请求持有的 K/V 可释放。 |
因果掩码将位置 i 的可见范围限制在 1…i。只要前缀 token、位置编号和可见范围保持一致,追加位置 3 就不会改变位置 1、2 的输入表示。这个性质从词嵌入逐层传递,因此历史 K/V 可以原样复用。位置 3 的查询仍要计算自己对三个位置的注意力,浮点舍入可能让两条路径的结果略有差异。
要省的是历史位置的重复前向计算。新的 q₃ 仍需与 K₁、K₂、K₃ 匹配,并对 V₁、V₂、V₃ 加权。缓存没有取消注意力,而是让历史的 K/V 可以被再次读取。
单层 KV 生命周期
- Prefill
- 投影与 RoPE
- 追加并读取
- 输出 logits
- 释放缓存
Prefill 保存位置 1、2
Prefill 处理前两个位置:q₁ 看位置 1,q₂ 看位置 1、2。算完后,这一层留下两组 K/V;其他层也各自留下对应的 K/V。
位置 3 投影出 q₃、k₃、v₃
位置 3 的隐藏向量分别通过 Q/K/V 投影。Qwen2 再对 q₃、k₃ 应用位置 3 的 RoPE;v₃ 不做 RoPE。新的 K/V 此时已算出,但尚未写入这一层的缓存。
追加 K₃/V₃ 后计算当前注意力
把 K₃/V₃ 追加到该层缓存;当前 q₃ 与 K₁–K₃ 计算三个分数,Softmax 后加权 V₁–V₃,得到一个 Q 头的 z₃。旧位置的 q₁、q₂ 无需重新计算。
完成各层前向,得到位置 4 的 logits
当前层的各 Q 头输出拼接并投影,随后经过残差和 FFN 等运算;位置 3 的表示继续进入后续层。穿过全部 24 层、最终归一化和 LM head 后,得到用于预测位置 4 的 logits。预测出的 Token 尚未产生自己的 K/V。
请求结束,释放请求持有的缓存
演示在预测后结束。若没有跨请求前缀共享或缓存保留策略,该请求不再持有这些层的 KV;这不是每一步 Decode 都会发生的动作。
交互只画出一个 KV 头在一个注意力层内的状态;真实模型每层有自己的缓存,而且同一层可含多个 KV 头。点击“下一步”依次观察计算与缓存变化。
单头注意力计算
位置 3 并不会随身携带三个预制好的向量。它先形成当前层的隐藏表示,随后由三个不同的线性投影生成 Q、K、V。这里将送入投影的、已经经过该层输入 RMSNorm 的表示记为 x₃:对第 1 层,来源是词嵌入;对后续层,来源是上一层输出。Qwen2 对 Q、K 应用 RoPE,V 则直接来自 V 投影。
这里的“查询、匹配、内容”是帮助理解计算角色的说法,不表示向量的每个维度都能解释成某个自然语言语义。一个注意力头的工作是:用当前 Q 给历史 K 打分,再把对应 V 加权求和。
| 位置 | 1:The | 2:␠cat | 3:␠sat |
|---|---|---|---|
| Key | k₁ · 读缓存 | k₂ · 读缓存 | k₃ · 新计算 |
| Value | v₁ · 读缓存 | v₂ · 读缓存 | v₃ · 新计算 |
| Query | 无需再用 q₁ | 无需再用 q₂ | 使用 q₃ |
单头 q₃ 为 [1,dₖ],三行 K 和 V 分别为 [3,dₖ] 和 [3,dᵥ]。缩放后的三个分数经 Softmax 得到权重,每个权重对应 V 的一行。z₃ 的每一维是三行 V 在该维的加权和。
24 层前向与逐层缓存
前面只画了一层、一个 Q 头。真实的 Decode 要把位置 3 的隐藏状态依次送过 24 个 Transformer 层。每层都会重新产生属于该层的 Q₃/K₃/V₃,并读取该层自己的历史 KV。第 1 层的 K/V 不会拿去给第 2 层使用。
残差 · FFN → h₃¹
残差 · FFN → h₃²
残差 · FFN → h₃²⁴
因此,KV Cache 不是一张覆盖全模型的 K/V 表,而是按层保存的多份状态。增量 Decode 仍须跑完全部 24 层;它省掉的,是每一层中对历史位置的重复前向计算。
单步 Decode 工作量
回到位置 3。假如不用缓存,模型会在每一层重新执行位置 1–3 的运算;有缓存时,只有位置 3 需要走完整的各层计算,而历史 K/V 从各自的缓存读取。
| 这一层的操作 | 全前缀重算 | 增量 Decode |
|---|---|---|
| 历史位置 1、2 的 Q/K/V 投影 | 重复执行 | 省掉 |
| 历史位置 1、2 的注意力、FFN 等计算 | 重复执行 | 省掉 |
| 当前位置 3 的 Q/K/V、注意力与 FFN | 仍需执行 | 仍需执行 |
| q₃ 与 K₁–K₃ 打分、Softmax、V 加权 | 仍需执行 | 仍需执行 |
| 历史 K/V 的跨步保存与读取 | 不持久保留 | 需要存储、读取、追加 |
若只数单层、单个 Q 头的因果注意力中的有效 Query–Key 位置对,全前缀重算处理 1 + 2 + 3 = 6 对,增量 Decode 只处理位置 3 对三个 K 的 3 对。
令 T 为该 Decode 步包含新位置的总长度。全前缀重算需要 1 + 2 + … + T = T(T+1)/2 个可见位置对,增量 Decode 需要 T 个,差额 T(T−1)/2 来自历史查询。若从空缓存 Prefill P 个位置,则该步处理 P(P+1)/2 个可见位置对,并留下长度为 P 的缓存。
这些计数只描述因果掩码下有效的数学位置对,不是 GPU kernel 的实际乘法次数。真实延迟还取决于 Q/K/V 投影与 FFN、内核实现、调度开销、KV 的读写带宽、GQA 分组复用以及批大小。KV Cache 省去历史位置的前向计算,但不是让每步 Decode 的计算或访存变成常数。
MHA、GQA 与 MQA
标准多头注意力(MHA)为每个 Q 头配一组独立的 K/V 投影。每个头在同一个位置独立算出权重和输出,再由 WO 混合拼接结果。Transformer 原论文 §3.2.2
q₃¹ 读取头 1 的 K/V 1–3。
q₃² 读取头 2 的 K/V 1–3。
分组查询注意力(GQA)让组内的多个 Q 头读取同一组 K/V。多查询注意力(MQA)让所有 Q 头共享一组 K/V。两者都保留每个 Q 头各自的向量、注意力权重和输出。以均匀分组为例,每组包含 HQ/HKV 个 Q 头。GQA 论文 §2.2 · MQA 论文
这里的“共享”发生在同一层、同一个历史位置的 K/V 数据上,并非把多个 Q 头合并成一个头。Q 头仍然有 14 个,各自计算注意力分数和输出;因此不能把缓存减少到 1/7 直接解释为注意力计算量或端到端延迟也下降到 1/7。
Qwen2.5-0.5B 第 1 层演算
前面是计算机制;下面把抽象的 q、k、v 换成一组真实模型的数字。使用 Qwen2.5-0.5B 的第 1 个注意力层:先以两个 Token 建立缓存,再送入第三个 Token,检查形状、注意力权重以及输出。
The cat sat 对应 token ID [785, 8251, 7578]。模型有 24 层,隐藏维度 896,每层 14 个 Q 头、2 个 KV 头,每头 64 维。表中的形状已拆分头维,轴顺序为 [batch, heads, tokens, head_dim]。固定模型配置 · Tokenizer
Prefill 输入 [[785, 8251]],生成形状分别为 [1,2,2,64] 的 K、V 缓存。Decode 输入 [[7578]],位置编号为 2(从零计),词嵌入经 RMSNorm 后的形状为 [1,1,896]。
| 张量 | 形状 | 来源 |
|---|---|---|
| Query | [1,14,1,64] | 14 个不同查询头 |
| Key | [1,2,1,64] | 只为当前新位置产生 2 个 KV 头的 K |
| Value | [1,2,1,64] | 只为当前新位置产生 2 个 KV 头的 V |
| 追加后的 Key / Value Cache | [1,2,3,64](各一个) | 历史 2 个位置 + 新位置 1 个 |
在 Transformers v4.57.3 中,Qwen2Model.forward 从缓存长度推导当前位置并准备因果掩码。Qwen2Attention.forward 投影后旋转 Q/K,再调用 Cache.update。这里的 DynamicLayer.update 沿 token 轴拼接新 K/V。eager 路径随后用 repeat_kv 将注意力输入展开到 14 个头,持久缓存仍为 2 个 KV 头。模型入口与掩码 · 注意力与分组 · 动态缓存更新
根据原稿的 CPU FP32 数值记录,位置 3 的 Q 头 1 对三个 K 做点积,再除以 √64 = 8,得到分数 [173.89999, 172.19334, 172.81117]。减去最大值后取指数并归一化,权重约为 [0.658724, 0.119540, 0.221735]。
把 KV 头 1 的 V 第 0 维与舍入后的权重相乘,可复算 Q 头 1 输出的第 0 维:
Q 头 2 读取同一组 K/V,而它的权重约为 [4.78e−7, 0.00069, 0.99931]。14 个头各产生一个 64 维向量,拼成 14 × 64 = 896 维,经 o_proj 给出 [1,1,896] 的注意力子层输出。该分布只描述这个层和头在当前位置的取值。
注意:65.872% 只表示这个固定模型、这一层、这一个 Q 头、这一次输入的注意力权重;不能将其直接当作对应词语对最终预测的“重要性”。
投影形状与第一层数值记录
本步只有一个输入 Token。Q、K、V 各执行一次线性投影,生成各自所有头的数据,三者共用 RMSNorm 的输出 [1, 1, 896]。线性层输入和输出的轴顺序是 [batch, tokens, features],权重按 [out_features, in_features] 排列。
| 操作 | 输入形状 | 投影权重 | 输出形状 | 头布局与计算 |
|---|---|---|---|---|
q_proj | [1, 1, 896] | [896, 896] | [1, 1, 896] | 投影后拆头[1, 1, 14, 64] → [1, 14, 1, 64] |
k_proj | [1, 1, 896] | [128, 896] | [1, 1, 128] | 投影后拆头[1, 1, 2, 64] → [1, 2, 1, 64] |
v_proj | [1, 1, 896] | [128, 896] | [1, 1, 128] | 投影后拆头[1, 1, 2, 64] → [1, 2, 1, 64] |
| 注意力 | Q [1, 14, 1, 64]K、V 各 [1, 14, 3, 64] | — | Z [1, 14, 1, 64] | 按头批量打分 S = QKᵀ / √64沿 3 个可见位置归一化 A = softmax(S)S、A 各为 [1, 14, 1, 3]按头批量加权 Z = AV |
| 多头合并 | Z [1, 14, 1, 64] | — | Zcat [1, 1, 896] | transpose(1, 2) → [1, 1, 14, 64]reshape 展平最后两维,14 × 64 = 896 |
o_proj | Zcat [1, 1, 896] | [896, 896] | [1, 1, 896] | 对拼接后的 896 维向量做线性投影 |
Q、K、V 投影后拆头并交换 Token 轴和头轴。对 Q/K 应用 RoPE 并追加当前 K/V 后,K、V 缓存各为 [1, 2, 3, 64]。表中注意力的输入采用 eager 路径按 GQA 分组展开后的形状。QKᵀ 和 AV 各执行一次批量矩阵乘法,以头轴为批量维同时处理 14 个头。
加权结果 Z 已含全部 14 个头。数学上写作 Concat(z₃¹, …, z₃¹⁴),表示按头编号排列同一位置的输出。Qwen2 的 eager 路径用 transpose(1, 2).contiguous() 交换 Token 轴和头轴,再用 reshape 把头维与头内维展平,得到 o_proj 的输入。Qwen2 注意力源码
| 位置 | 缩放分数 | 权重 | V 第 0 维 |
|---|---|---|---|
The | 173.89999 | 0.65872 | 0.00767 |
␠cat | 172.19334 | 0.11954 | −0.02547 |
␠sat | 172.81117 | 0.22174 | 0.00042 |
输出投影 o_proj.weight 为 [896,896],无偏置。原记录中,头 1–7 对输出第 0 维的贡献合计 −0.00925,头 8–14 为 −0.00718,总和约为 −0.01643。
Q 头 1、KV 头 1 和 14 个头输出的向量
向量保留原文章记录的 6 位小数,原文注明运行环境为 CPU FP32、Transformers 4.57.3。用固定 checkpoint 的词嵌入、第 1 层 RMSNorm 和注意力参数独立复算,向量与记录的最大绝对差约 7.3 × 10⁻⁶。复算的增量与整段路径在末位置输出投影上的最大绝对差约 8.4 × 10⁻⁷。权重版本
Q 头 1(当前位置,经过 RoPE)
-0.004441, -0.100846, -0.209875, +0.165749, -7.785727, +0.271318, +0.415182, -0.046624,
-17.062759, -33.692039, -15.181800, +6.722532, -0.662110, +7.902994, +0.960390, +2.128093,
-16.234880, +4.202620, -0.593795, -0.996396, +3.491313, +0.290605, +0.451205, +4.864861,
-3.094864, +2.528187, +2.109828, -1.549175, +0.289388, +1.831788, +0.782594, +2.213985,
-0.010827, +0.010652, -0.016975, -0.344303, -16.570705, -0.059671, -0.202786, +0.545505,
+12.404079, +4.775512, +1.065896, -0.003852, -0.033382, -27.716551, -0.176110, -3.598879,
+9.399623, -1.880278, +1.919703, -0.219927, +3.870611, -2.703453, -3.741017, -3.336851,
+4.347343, +2.345126, +1.572883, +2.183621, +1.952763, +0.633545, -1.641573, +0.669819
KV 头 1 的 K · The
-8.446768, -3.813160, -6.408627, +0.692534, -0.045389, +9.252914, +8.443295, -1.058018,
-0.119782, -0.309534, -0.066828, +0.084699, -23.895832, +0.132094, +20.775133, +0.017537,
-0.095767, -2.402878, +18.215284, -20.979017, +7.722961, -7.017198, -11.430861, +16.473783,
-31.357283, +3.439160, +32.682285, +5.732925, +32.951000, +112.687767, +35.442390, +121.247116,
+6.339489, +8.743207, +3.692866, -6.709107, -0.179720, -1.630972, -1.479753, +9.364368,
+0.251024, -0.143789, +0.159226, +0.057670, +10.045707, -0.005301, -20.841751, +0.256626,
-0.071279, +1.241129, +21.194967, -10.880297, +3.878803, -5.112913, -10.960475, +7.933286,
-10.543342, +16.870195, +10.122365, +51.567245, +24.070190, +37.767891, -130.358582, +68.762299
KV 头 1 的 K · ␠cat
-10.302408, -8.053579, -7.496255, +2.517591, -0.252192, +9.344287, +8.698078, -1.717648,
+0.120862, -0.234245, -0.061012, +0.147064, -24.091604, -0.022079, +20.804947, -0.697791,
+0.068077, -2.376560, +18.931139, -21.262932, +7.968781, -5.697092, -11.796911, +16.476904,
-31.582399, +3.344469, +33.156288, +5.865339, +32.598930, +112.076797, +35.867653, +121.038879,
-3.598581, +5.205008, +0.878081, -6.356515, -0.081141, -0.139762, -0.616598, +9.366689,
+0.161198, -0.025499, -0.002121, -0.089363, +9.853989, +0.124148, -19.960878, +0.239538,
-0.295312, +0.461098, +20.948641, -11.734899, +4.042646, -5.253279, -11.194863, +7.983961,
-11.161513, +17.047173, +10.401231, +52.182476, +25.079535, +35.387596, -130.045380, +69.119743
KV 头 1 的 K · ␠sat
-2.682084, -9.453181, -7.173626, +4.252858, -0.309356, +9.299815, +8.643692, -2.232335,
+0.133351, -0.210646, -0.136626, +0.091385, -24.161783, -0.058130, +20.915304, -0.886914,
+0.008467, -2.428351, +19.099594, -21.204906, +8.063102, -5.612517, -11.578401, +16.432678,
-31.498619, +3.361435, +33.394272, +5.902329, +32.811825, +111.758850, +36.497311, +120.990913,
-10.478822, -0.638794, -2.227417, -5.348859, -0.137763, +0.960440, +0.044156, +9.143929,
+0.211476, +0.020045, -0.103958, -0.110625, +9.615383, +0.067213, -19.865152, +0.218717,
-0.351559, +0.309846, +20.964333, -11.462437, +4.221155, -5.257829, -11.253092, +7.900235,
-11.142466, +17.083008, +10.539283, +52.540855, +24.840368, +35.006702, -129.991241, +69.148170
KV 头 1 的 V · The
+0.007667, +0.024537, -0.001566, -0.009496, -0.016100, -0.011520, +0.010095, +0.050218,
-0.028684, -0.021829, +0.006304, -0.051343, +0.026486, +0.019907, +0.001167, +0.004582,
+0.024880, -0.022989, -0.015955, +0.023626, +0.005108, -0.027677, +0.006674, +0.016312,
+0.008681, +0.001599, -0.003769, -0.105739, +0.025662, -0.026600, +0.027772, +0.037764,
+0.088691, -0.004601, +0.006184, -0.002812, -0.027052, +0.023274, +0.005682, -0.000710,
-0.020195, -0.001953, +0.004866, +0.020861, -0.004089, -0.003147, +0.001929, +0.016058,
+0.016311, -0.013534, +0.000941, -0.002879, +0.018793, +0.014509, +0.005165, -0.013431,
-0.010676, +0.025564, +0.040111, +0.013231, +0.029950, -0.010538, -0.038758, +0.026396
KV 头 1 的 V · ␠cat
-0.025466, -0.005152, -0.001444, -0.016997, +0.006868, +0.008670, -0.017188, -0.048236,
+0.002501, -0.011641, +0.007918, +0.002064, -0.022278, -0.008073, +0.013950, +0.002565,
+0.008749, -0.006546, +0.004041, +0.032842, +0.003291, +0.006171, +0.017551, +0.003535,
+0.021742, -0.008747, +0.000217, +0.010920, +0.037452, -0.021662, +0.050959, -0.003985,
+0.100245, -0.014201, +0.009776, -0.017674, +0.027995, -0.025697, +0.022952, -0.015250,
+0.017847, -0.010167, -0.011016, -0.008073, -0.014707, +0.000914, -0.014829, +0.014904,
+0.036929, +0.016694, +0.007712, +0.005790, +0.010952, -0.004989, +0.006021, -0.003675,
+0.008032, -0.011083, -0.001274, +0.010965, +0.004728, -0.009547, -0.014892, -0.007260
KV 头 1 的 V · ␠sat
+0.000424, -0.006777, +0.005161, -0.006723, +0.009255, +0.002879, -0.015312, -0.026722,
+0.005409, -0.019226, -0.023690, +0.003415, -0.034798, +0.014315, +0.004311, -0.026788,
+0.016652, +0.014913, +0.016575, +0.015280, -0.003164, +0.004165, -0.006687, -0.004355,
+0.009537, +0.006175, -0.016485, +0.019934, -0.021366, +0.006269, +0.011908, +0.004707,
+0.109217, +0.002480, +0.004144, +0.019497, -0.001399, +0.038558, +0.003230, -0.016140,
-0.005528, +0.001124, +0.002949, +0.012794, +0.001211, +0.012566, +0.000052, -0.000856,
-0.034818, -0.006653, +0.015508, +0.011056, -0.007440, +0.007156, +0.009836, -0.003471,
+0.006954, +0.022499, -0.032480, -0.011249, -0.001175, +0.005815, +0.006037, +0.022944
Q 头 1 的 64 维输出
+0.002100, +0.014044, -0.000060, -0.009777, -0.007732, -0.005914, +0.001200, +0.021389,
-0.017396, -0.020034, -0.000154, -0.032817, +0.007068, +0.015322, +0.003393, -0.002615,
+0.021127, -0.012619, -0.006352, +0.022877, +0.003057, -0.016570, +0.005011, +0.010202,
+0.010432, +0.001377, -0.006112, -0.063927, +0.016644, -0.018722, +0.027026, +0.025443,
+0.094624, -0.004179, +0.006161, +0.000358, -0.014784, +0.020809, +0.007203, -0.005869,
-0.012395, -0.002253, +0.002542, +0.015614, -0.004183, +0.000823, -0.000490, +0.012170,
+0.007439, -0.008395, +0.004981, +0.001247, +0.012039, +0.010548, +0.006303, -0.010056,
-0.004530, +0.020504, +0.019068, +0.007532, +0.020033, -0.006794, -0.025972, +0.021607
Q 头 2 的 64 维输出
+0.000406, -0.006776, +0.005157, -0.006730, +0.009253, +0.002883, -0.015314, -0.026737,
+0.005407, -0.019220, -0.023668, +0.003414, -0.034790, +0.014300, +0.004317, -0.026768,
+0.016647, +0.014899, +0.016567, +0.015293, -0.003160, +0.004166, -0.006671, -0.004350,
+0.009545, +0.006164, -0.016474, +0.019927, -0.021325, +0.006250, +0.011935, +0.004701,
+0.109211, +0.002469, +0.004148, +0.019472, -0.001379, +0.038514, +0.003244, -0.016140,
-0.005512, +0.001116, +0.002939, +0.012780, +0.001200, +0.012558, +0.000041, -0.000845,
-0.034769, -0.006637, +0.015503, +0.011052, -0.007427, +0.007147, +0.009834, -0.003471,
+0.006955, +0.022476, -0.032459, -0.011234, -0.001170, +0.005804, +0.006023, +0.022924
Q 头 3 的 64 维输出
-0.010546, -0.004843, +0.002026, -0.011297, +0.007223, +0.004832, -0.015131, -0.033057,
+0.002808, -0.016030, -0.008774, +0.000680, -0.026953, +0.004802, +0.008378, -0.012798,
+0.013539, +0.004099, +0.009851, +0.023242, -0.000034, +0.003788, +0.004373, -0.000115,
+0.014809, -0.000491, -0.008726, +0.011087, +0.006046, -0.007161, +0.029505, +0.002225,
+0.104512, -0.005049, +0.006672, +0.002464, +0.010372, +0.010027, +0.011899, -0.015148,
+0.004058, -0.003905, -0.003046, +0.004040, -0.005916, +0.006885, -0.006343, +0.006658,
-0.001625, +0.003226, +0.011548, +0.008220, +0.001583, +0.002165, +0.007994, -0.003950,
+0.006732, +0.008021, -0.016069, -0.000633, +0.002612, -0.001504, -0.004817, +0.009950
Q 头 4 的 64 维输出
-0.000134, +0.015570, -0.001004, -0.010910, -0.009073, -0.005971, +0.002124, +0.022626,
-0.019170, -0.019400, +0.004268, -0.035339, +0.010974, +0.013361, +0.004205, +0.001644,
+0.020708, -0.016386, -0.009005, +0.024971, +0.004053, -0.017762, +0.007981, +0.011880,
+0.011597, -0.000293, -0.003913, -0.070297, +0.024488, -0.022906, +0.031564, +0.026029,
+0.092845, -0.006130, +0.006805, -0.004276, -0.013008, +0.013813, +0.009252, -0.005109,
-0.010732, -0.003499, +0.001250, +0.013910, -0.005982, -0.001010, -0.001874, +0.014460,
+0.016736, -0.006396, +0.003577, +0.000121, +0.014995, +0.009672, +0.005724, -0.010511,
-0.005193, +0.017330, +0.025308, +0.010788, +0.021972, -0.009020, -0.029987, +0.018783
Q 头 5 的 64 维输出
-0.002559, +0.012902, -0.000861, -0.011371, -0.006986, -0.004294, -0.000261, +0.014313,
-0.016343, -0.018647, +0.003780, -0.030569, +0.006394, +0.011324, +0.005147, +0.000879,
+0.019433, -0.014497, -0.006979, +0.025438, +0.003763, -0.014796, +0.008463, +0.010588,
+0.012513, -0.000913, -0.003892, -0.059758, +0.024360, -0.021910, +0.032843, +0.022496,
+0.094050, -0.006650, +0.007011, -0.004853, -0.008707, +0.010749, +0.010392, -0.006418,
-0.007822, -0.004003, +0.000119, +0.011758, -0.006607, -0.000417, -0.003065, +0.014043,
+0.017133, -0.004178, +0.004334, +0.000996, +0.013931, +0.008184, +0.005876, -0.009640,
-0.003553, +0.014747, +0.021010, +0.010143, +0.019615, -0.008625, -0.027450, +0.016398
Q 头 6 的 64 维输出
-0.008807, -0.003104, +0.001971, -0.010936, +0.005870, +0.003700, -0.013558, -0.027487,
+0.000973, -0.016568, -0.008638, -0.002436, -0.024026, +0.006267, +0.007704, -0.012468,
+0.014420, +0.002987, +0.008597, +0.022833, +0.000119, +0.001834, +0.003916, +0.000685,
+0.014138, +0.000002, -0.008837, +0.004237, +0.005787, -0.007651, +0.028440, +0.004590,
+0.103775, -0.004611, +0.006504, +0.003059, +0.007384, +0.012409, +0.011038, -0.014296,
+0.002015, -0.003509, -0.002224, +0.005571, -0.005414, +0.006564, -0.005477, +0.006839,
-0.002304, +0.001637, +0.011098, +0.007678, +0.002173, +0.003211, +0.007917, -0.004519,
+0.005651, +0.009909, -0.013435, -0.000340, +0.004121, -0.001673, -0.006357, +0.011688
Q 头 7 的 64 维输出
-0.014228, -0.004388, +0.001026, -0.012798, +0.006700, +0.005565, -0.015222, -0.035617,
+0.002149, -0.014955, -0.004005, +0.000099, -0.024715, +0.001614, +0.009746, -0.008345,
+0.012458, +0.000737, +0.007815, +0.025832, +0.000955, +0.003853, +0.007962, +0.001168,
+0.016562, -0.002675, -0.006228, +0.008902, +0.014858, -0.011420, +0.035248, +0.001205,
+0.103074, -0.007504, +0.007499, -0.003053, +0.014430, +0.000654, +0.014760, -0.014911,
+0.007325, -0.005554, -0.005046, +0.001088, -0.008249, +0.005094, -0.008476, +0.009050,
+0.009080, +0.006544, +0.010321, +0.007363, +0.004420, +0.000466, +0.007411, -0.004050,
+0.006763, +0.003201, -0.011057, +0.002743, +0.003682, -0.003834, -0.008151, +0.005619
Q 头 8 的 64 维输出
-0.030384, +0.011986, +0.005370, +0.008583, -0.015937, -0.012025, +0.004910, -0.000426,
-0.006360, -0.004174, +0.040115, +0.009207, +0.008721, -0.006973, +0.007867, -0.019587,
+0.013287, -0.008930, +0.003347, -0.038841, -0.011137, +0.021110, -0.032583, -0.019095,
+0.003282, +0.031738, -0.008455, -0.005264, +0.013877, +0.008107, +0.018775, +0.006719,
-0.030874, -0.055514, -0.002013, -0.003455, -0.018956, +0.003848, -0.009594, -0.007217,
+0.013136, +0.011614, +0.008242, +0.017728, +0.014873, -0.011969, -0.010940, -0.024014,
-0.007397, +0.064148, -0.039387, -0.016624, +0.005288, -0.008396, +0.005591, +0.026950,
-0.003890, +0.019542, -0.004530, +0.002537, -0.017508, +0.018450, +0.004030, +0.005533
Q 头 9 的 64 维输出
-0.030626, +0.011966, +0.002656, +0.008151, -0.015340, -0.013366, +0.006762, +0.001483,
-0.006778, -0.004221, +0.039588, +0.010923, +0.008997, -0.006951, +0.008739, -0.020750,
+0.013308, -0.010703, +0.003624, -0.036915, -0.011085, +0.021115, -0.031718, -0.020113,
+0.004470, +0.032753, -0.007596, -0.005393, +0.013990, +0.006192, +0.020333, +0.005726,
-0.030208, -0.055432, -0.001088, -0.003978, -0.019135, +0.003378, -0.010077, -0.007094,
+0.013554, +0.009242, +0.008717, +0.016490, +0.014218, -0.013589, -0.011544, -0.025937,
-0.008243, +0.063800, -0.038535, -0.016938, +0.006296, -0.008259, +0.005140, +0.029387,
-0.004772, +0.018303, -0.006390, +0.002769, -0.016447, +0.018232, +0.003351, +0.005160
Q 头 10 的 64 维输出
-0.030569, +0.003477, -0.029649, -0.025847, -0.011329, -0.011168, -0.024287, -0.013961,
+0.001758, +0.000269, +0.007352, -0.013455, +0.013122, +0.007667, -0.001283, -0.040891,
+0.001624, -0.037650, +0.006126, -0.006845, -0.014020, -0.013693, -0.007426, +0.004397,
-0.022595, +0.034915, +0.001656, -0.003931, +0.014017, +0.028571, -0.005415, +0.027544,
+0.039650, +0.003409, -0.010557, -0.005963, -0.015986, -0.018560, -0.038434, +0.049886,
-0.007841, +0.029708, +0.033106, +0.002016, +0.004462, +0.002555, -0.024077, -0.045256,
-0.019548, +0.012837, -0.019005, +0.009051, -0.003490, -0.022836, -0.012259, -0.020892,
-0.015366, +0.015102, +0.041177, -0.000287, -0.029074, +0.010622, -0.004410, +0.021578
Q 头 11 的 64 维输出
-0.030704, +0.011569, +0.000271, +0.006444, -0.014957, -0.013709, +0.005947, +0.001405,
-0.006524, -0.004030, +0.037931, +0.010370, +0.009278, -0.006271, +0.008568, -0.022062,
+0.012778, -0.012529, +0.003831, -0.034894, -0.011203, +0.019515, -0.030314, -0.019323,
+0.003619, +0.033189, -0.006886, -0.005368, +0.014029, +0.006587, +0.019665, +0.006401,
-0.026775, -0.052698, -0.001217, -0.004243, -0.019049, +0.002213, -0.011541, -0.004433,
+0.012709, +0.009397, +0.009996, +0.015414, +0.013553, -0.013384, -0.012321, -0.027463,
-0.009043, +0.061341, -0.037354, -0.015847, +0.006180, -0.008884, +0.004191, +0.027882,
-0.005551, +0.017744, -0.004819, +0.002706, -0.016676, +0.017809, +0.002770, +0.005791
Q 头 12 的 64 维输出
-0.030658, +0.006515, -0.018828, -0.013777, -0.012599, -0.012334, -0.012631, -0.007885,
-0.001421, -0.001354, +0.018764, -0.004229, +0.011720, +0.002431, +0.002557, -0.033996,
+0.005820, -0.028486, +0.005307, -0.017086, -0.012953, -0.001209, -0.015893, -0.004679,
-0.012555, +0.034426, -0.001420, -0.004492, +0.014039, +0.020006, +0.004257, +0.019441,
+0.014785, -0.017669, -0.006901, -0.005399, -0.017166, -0.010825, -0.028401, +0.029487,
-0.000050, +0.021701, +0.024494, +0.006858, +0.007776, -0.003691, -0.019753, -0.038869,
-0.015732, +0.031015, -0.025769, -0.000358, +0.000303, -0.017570, -0.006146, -0.002175,
-0.011815, +0.015901, +0.023595, +0.000874, -0.024247, +0.013289, -0.001818, +0.015585
Q 头 13 的 64 维输出
-0.030769, +0.006931, -0.018417, -0.012269, -0.012535, -0.013038, -0.010259, -0.006267,
-0.002032, -0.001600, +0.020141, -0.002251, +0.011636, +0.001711, +0.003444, -0.033504,
+0.006413, -0.027924, +0.005304, -0.017735, -0.012784, +0.000533, -0.016724, -0.006355,
-0.010676, +0.034767, -0.001502, -0.004621, +0.014088, +0.018039, +0.006234, +0.017911,
+0.011589, -0.020573, -0.006017, -0.005531, -0.017402, -0.009937, -0.027198, +0.026694,
+0.001204, +0.019627, +0.023486, +0.007033, +0.007974, -0.005216, -0.019394, -0.038756,
-0.015542, +0.033408, -0.026367, -0.001796, +0.001239, -0.016781, -0.005476, +0.001418,
-0.011676, +0.015511, +0.020394, +0.001130, -0.023146, +0.013573, -0.001731, +0.014599
Q 头 14 的 64 维输出
-0.030613, +0.006009, -0.020300, -0.015745, -0.012462, -0.011970, -0.014818, -0.009143,
-0.000835, -0.001076, +0.016918, -0.005992, +0.011920, +0.003306, +0.001803, -0.035005,
+0.005114, -0.029798, +0.005409, -0.015613, -0.013139, -0.003302, -0.014583, -0.003030,
-0.014387, +0.034380, -0.001013, -0.004382, +0.014021, +0.021683, +0.002440, +0.020924,
+0.018868, -0.014147, -0.007630, -0.005427, -0.016945, -0.012062, -0.030021, +0.032890,
-0.001409, +0.023342, +0.025877, +0.006203, +0.007303, -0.002440, -0.020401, -0.039697,
-0.016265, +0.028012, -0.024742, +0.001258, -0.000459, -0.018470, -0.007114, -0.005619,
-0.012299, +0.015923, +0.026776, +0.000650, -0.025190, +0.012870, -0.002167, +0.016637
解码路径复现
文章中的模型参数、Token ID 与第 1 层注意力数据都固定到了具体版本。下面的最小脚本使用同一组 [785, 8251, 7578] 输入,分别执行“全前缀前向”和“Prefill 2 个 Token + Decode 1 个 Token”,比较预测位置 4 的 logits 与第 1 层权重。
原稿记录:第 1 个 Q 头的权重约为 [0.658724, 0.119540, 0.221735],输出第 0 维约为 0.002100。原稿还报告了向量复算与增量/整段路径的误差;本文保留这些观察值,但不把未在当前环境实际重跑的结果标为“已重新验证”。脚本提供复核这些数字的路径,浮点舍入与平台差异可能导致末位不同。
展开:完整 Python 复现脚本与运行方式
安装所需库:pip install "transformers==4.57.3" torch。首次执行需下载模型和 tokenizer,建议在可联网环境运行;该脚本仅用于检验计算,不用于性能基准测试。
#!/usr/bin/env python3
"""Qwen2.5-0.5B: compare full-prefix vs cached incremental decoding.
Requires: torch and transformers==4.57.3, plus model download access.
Run: python kv-cache-qwen-reproduce.py
"""
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_ID = "Qwen/Qwen2.5-0.5B"
REVISION = "060db6499f32faf8b98477b0a26969ef7d8b9987"
TOKEN_IDS = [785, 8251, 7578] # The / cat / sat (see tokenizer below)
def main():
torch.manual_seed(0)
torch.set_num_threads(4)
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, revision=REVISION)
actual = tokenizer.encode("The cat sat", add_special_tokens=False)
print("Tokenizer IDs:", actual)
if actual != TOKEN_IDS:
raise RuntimeError(f"Unexpected tokenizer IDs: {actual}; expected {TOKEN_IDS}")
model = AutoModelForCausalLM.from_pretrained(
MODEL_ID,
revision=REVISION,
torch_dtype=torch.float32,
attn_implementation="eager",
).cpu().eval()
ids = torch.tensor([TOKEN_IDS], dtype=torch.long)
with torch.inference_mode():
full = model(input_ids=ids, use_cache=False,
output_attentions=True, return_dict=True)
prefill = model(input_ids=ids[:, :2], use_cache=True,
output_attentions=True, return_dict=True)
# Capture first layer's concatenated head outputs, before o_proj.
captured = {}
def save_attention_output(_module, inputs):
captured["before_o_proj"] = inputs[0].detach().clone()
handle = model.model.layers[0].self_attn.o_proj.register_forward_pre_hook(
save_attention_output
)
try:
step = model(input_ids=ids[:, 2:],
past_key_values=prefill.past_key_values,
use_cache=True, output_attentions=True, return_dict=True)
finally:
handle.remove()
# Both paths predict position 4 after processing position 3.
diff = (full.logits[:, -1, :] - step.logits[:, -1, :]).abs().max().item()
head1 = step.attentions[0][0, 0, 0, :].tolist() # [3] keys
head1_full = full.attentions[0][0, 0, -1, :]
attn_diff = (head1_full - step.attentions[0][0, 0, 0, :]).abs().max().item()
z0 = captured["before_o_proj"][0, 0, 0].item() # Q head 1, feature 0
print("Cache length after Decode:", step.past_key_values.get_seq_length())
print("Layer-1 first Q head weights:", [round(x, 6) for x in head1])
print("Layer-1 first Q head output[0]:", round(z0, 6))
print("Max attention-weight abs diff:", f"{attn_diff:.3g}")
print("Max final-logits abs diff:", f"{diff:.3g}")
print("Layer-1 attention shape in Decode:", tuple(step.attentions[0].shape))
# Do not require bitwise identity: different kernels/orders can change rounding.
if __name__ == "__main__":
main()
脚本会打印 Tokenizer ID、Decode 后缓存长度、注意力权重、输出向量中的一个数值,以及两条路径的最大绝对差。输出差异取决于实际环境,不能由理论公式保证逐位一致。
KV 容量与读取量
单条序列每层保留 T 个位置,且层间 KV 配置相同时,逻辑 KV 数据量为:
以 16 位缓存为例,Qwen2.5-0.5B 每增加一个位置,24 层合计新增 24 × 2 × (64 + 64) × 2 = 12,288 B,即 12 KiB。8,192 个位置占 96 MiB,32,768 个位置占 384 MiB。长度翻至 4 倍时,KV 数据量和单步每个 Q 头的可见位置数也都翻至 4 倍。
| 注意力结构 | 每层 KV 头数 | 每位置 KV | 单序列 KV |
|---|---|---|---|
| MHA(架构对照) | 14 | 84 KiB | 672 MiB |
| GQA(Qwen2.5-0.5B) | 2 | 12 KiB | 96 MiB |
| MQA(架构对照) | 1 | 6 KiB | 48 MiB |
表中只改变 KV 头数,因此 GQA 的逻辑 KV 容量为假设 MHA 的 1/7。三种结构均有 14 个 Q 头,每层的可见 Q–K 位置对均为 14 × T。模型权重、质量和延迟需要在各自配置下另行比较。
对全因果 Decode,设每个独立的 K/V 元素只从 HBM 读一次,跨全部注意力层累计的逻辑读取数据量与上述 KV 数据量 M 同量级。它不是实际 HBM 流量的精确预测:GQA 中组内共享可以减少重复读取,实际内核也可能重新加载、使用片上缓存、执行动态拼接,或者采用量化与分页等布局。计算容量时还没有计入块尾空隙、量化元数据、分配开销以及多请求的共享关系。
KV 容量估算器
单条序列的逻辑 KV 数据量,K 与 V 等长。低比特选项按理想紧凑存储计算。默认参数为 Qwen2.5-0.5B 的 16 位缓存,计算器接受其他模型的参数。
KV Cache 综述 Fig. 1 · 解码器与多头注意力
KV Cache 综述 Fig. 1 · 解码器与多头注意力。右侧标出 Q/K/V 的投影与头输出的拼接。左侧为通用结构示意,Qwen2 的执行顺序和 GQA 分组见上文。综述原图
长上下文的开销
KV Cache 把每步必须处理的历史位置,从“重新跑过网络”变成“读取已经保存的 K/V”。这是计算复用,而不是历史信息消失了。对于有 T 个可见位置的全因果 Decode,新的 Query 仍要访问对应的 K/V;随着上下文增长,缓存容量、读写量以及请求并发都会影响实际吞吐和延迟。
旧位置的投影、注意力与 FFN 无需重算;当前位置仍需完成所有层。
逻辑 KV 大小随 Token 数、层数和 KV 头数增长。
长上下文 Decode 往往需要反复读取历史 K/V;GQA、分页和高效内核影响最终表现。
一条新 Token 的计算路径可以这样记住:进入当前层 → 生成 Q/K/V → 读本层历史 KV 并追加当前 KV → 当前 Q 聚合所有可见 V → 经输出投影、残差和 FFN 进入下一层 → 穿过全部层后得到下一 Token 的 logits。回到交互演示。
参考资料
- Haoyang Li 等。解码器结构、KV Cache 增量公式与容量分析。A Survey on Large Language Model Acceleration based on KV Cache Management,§II-B · Fig. 1
- Ashish Vaswani 等。缩放点积注意力与标准多头注意力。Attention Is All You Need,§3.2
- Noam Shazeer。多查询注意力(MQA)与增量解码的内存读取。Fast Transformer Decoding: One Write-Head is All You Need
- Joshua Ainslie 等。分组查询注意力(GQA)的头部映射。GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints,§2.2
- Woosuk Kwon 等。分页 KV Cache、物理块分配与前缀共享。Efficient Memory Management for Large Language Model Serving with PagedAttention
- Qwen2.5-0.5B。数值样例使用的固定权重版本
060db64。模型权重 · 配置 · Tokenizer - Transformers v4.57.3。Qwen2 的位置与掩码、RoPE、分组计算及缓存更新。模型入口 · 注意力源码 · 动态缓存源码