从多头注意力到 KV Cache:一次 Token 生成的完整计算过程

全前缀重算与增量解码

模型并不是一次写出整句话,而是根据已经处理的 Token 预测下一个。每生成一个新 Token,模型仍要看历史;但看历史,不等于把历史的所有层重新计算一遍。这正是 KV Cache 要解决的问题。

用三个输入位置做一个可复算的对照:先把 The、␠cat 送入 Prefill,再把位置 3 的 ␠sat 送入 Decode,观察模型如何预测位置 4。这里的 ␠sat 是为了实验固定的第三个 Token,并不意味着模型一定会在 The cat 后生成它;␠ 表示前导空格。

位置 3 这一步,有两种计算方式:

阶段不保留 KV:重算前缀保留 KV:增量解码
Prefill各层处理位置 1、2。跨步保留的 KV 长度为 0。各层处理位置 1、2,保存 K/V 1–2。
Decode各层重跑位置 1、2 并处理位置 3。q₃ 读取本步计算的 K/V 1–3。各层只处理位置 3,追加 K₃/V₃ 后,q₃ 读取 K/V 1–3。该层缓存长度从 2 增至 3。
输出位置 3 的结果经 LM head 得到位置 4 的 logits。同样得到位置 4 的 logits,各层保留 K/V 1–3。
结束跨步无 KV 状态。请求持有的 K/V 可释放。
各行按执行顺序排列。假设全因果自注意力,无滑窗、分片或跨请求前缀共享。KV Cache 综述 §II-B

因果掩码将位置 i 的可见范围限制在 1…i。只要前缀 token、位置编号和可见范围保持一致,追加位置 3 就不会改变位置 1、2 的输入表示。这个性质从词嵌入逐层传递,因此历史 K/V 可以原样复用。位置 3 的查询仍要计算自己对三个位置的注意力,浮点舍入可能让两条路径的结果略有差异。

要省的是历史位置的重复前向计算。新的 q₃ 仍需与 K₁、K₂、K₃ 匹配,并对 V₁、V₂、V₃ 加权。缓存没有取消注意力,而是让历史的 K/V 可以被再次读取。

单层 KV 生命周期

同一个注意力层、同一个 KV 头
  1. Prefill
  2. 投影与 RoPE
  3. 追加并读取
  4. 输出 logits
  5. 释放缓存
The
位置 1
K₁V₁
历史缓存
␠cat
位置 2
K₂V₂
历史缓存
␠sat
位置 3
K₃V₃
尚未输入
缓存长度 2

Prefill 保存位置 1、2

Prefill 处理前两个位置:q₁ 看位置 1,q₂ 看位置 1、2。算完后,这一层留下两组 K/V;其他层也各自留下对应的 K/V。

交互只画出一个 KV 头在一个注意力层内的状态;真实模型每层有自己的缓存,而且同一层可含多个 KV 头。点击“下一步”依次观察计算与缓存变化。

单头注意力计算

位置 3 并不会随身携带三个预制好的向量。它先形成当前层的隐藏表示,随后由三个不同的线性投影生成 Q、K、V。这里将送入投影的、已经经过该层输入 RMSNorm 的表示记为 x₃:对第 1 层,来源是词嵌入;对后续层,来源是上一层输出。Qwen2 对 Q、K 应用 RoPE,V 则直接来自 V 投影。

x₃这一层的输入隐藏向量
Q 投影 → RoPEq₃当前查询
K 投影 → RoPEk₃追加到 K 缓存
V 投影v₃追加到 V 缓存
Q 查询当前位置要从历史的哪些位置取信息?
K 匹配每个可见位置提供一个用于匹配的向量。
V 内容将匹配权重作用到各位置的内容向量上。

这里的“查询、匹配、内容”是帮助理解计算角色的说法,不表示向量的每个维度都能解释成某个自然语言语义。一个注意力头的工作是:用当前 Q 给历史 K 打分,再把对应 V 加权求和。

位置 3 的单头注意力输入
位置1:The2:␠cat3:␠sat
Keyk₁ · 读缓存k₂ · 读缓存k₃ · 新计算
Valuev₁ · 读缓存v₂ · 读缓存v₃ · 新计算
Query无需再用 q₁无需再用 q₂使用 q₃
s = q₃ Kᵀ / √dₖ   →   a = softmax(s)   →   z₃ = aV
单头张量形状依次为 [1, 3]、[1, 3]、[1, dᵥ]

单头 q₃ 为 [1,dₖ],三行 K 和 V 分别为 [3,dₖ] 和 [3,dᵥ]。缩放后的三个分数经 Softmax 得到权重,每个权重对应 V 的一行。z₃ 的每一维是三行 V 在该维的加权和。

24 层前向与逐层缓存

前面只画了一层、一个 Q 头。真实的 Decode 要把位置 3 的隐藏状态依次送过 24 个 Transformer 层。每层都会重新产生属于该层的 Q₃/K₃/V₃,并读取该层自己的历史 KV。第 1 层的 K/V 不会拿去给第 2 层使用。

当前位置:Token 3独立的历史状态:每层一份
输入 Token 3 → Embedding
LAYER 01第 1 层RMSNorm → Q/K/V → Attention
残差 · FFN → h₃¹
KV Cache · 层 1读取 K/V 1–2,追加 K/V 3
LAYER 02第 2 层RMSNorm → 新的 Q/K/V → Attention
残差 · FFN → h₃²
KV Cache · 层 2读取本层 K/V 1–2,追加本层 K/V 3
↓第 3–23 层重复各自的计算与缓存读写↓
LAYER 24第 24 层RMSNorm → 新的 Q/K/V → Attention
残差 · FFN → h₃²⁴
KV Cache · 层 24读取本层 K/V 1–2,追加本层 K/V 3
Final RMSNorm → LM head → 位置 4 的 logits
Qwen2.5-0.5B 的简化执行示意。每个层框内包含该层全部注意力头、输出投影、残差和 FFN;图中的 1–2 是已经缓存的历史位置,3 是本步新输入。真实执行还涉及具体的算子融合、张量布局和内核调度。

因此,KV Cache 不是一张覆盖全模型的 K/V 表,而是按层保存的多份状态。增量 Decode 仍须跑完全部 24 层;它省掉的,是每一层中对历史位置的重复前向计算。

单步 Decode 工作量

回到位置 3。假如不用缓存,模型会在每一层重新执行位置 1–3 的运算;有缓存时,只有位置 3 需要走完整的各层计算,而历史 K/V 从各自的缓存读取。

这一层的操作全前缀重算增量 Decode
历史位置 1、2 的 Q/K/V 投影重复执行省掉
历史位置 1、2 的注意力、FFN 等计算重复执行省掉
当前位置 3 的 Q/K/V、注意力与 FFN仍需执行仍需执行
q₃ 与 K₁–K₃ 打分、Softmax、V 加权仍需执行仍需执行
历史 K/V 的跨步保存与读取不持久保留需要存储、读取、追加

若只数单层、单个 Q 头的因果注意力中的有效 Query–Key 位置对,全前缀重算处理 1 + 2 + 3 = 6 对,增量 Decode 只处理位置 3 对三个 K 的 3 对。

令 T 为该 Decode 步包含新位置的总长度。全前缀重算需要 1 + 2 + … + T = T(T+1)/2 个可见位置对,增量 Decode 需要 T 个,差额 T(T−1)/2 来自历史查询。若从空缓存 Prefill P 个位置,则该步处理 P(P+1)/2 个可见位置对,并留下长度为 P 的缓存。

这些计数只描述因果掩码下有效的数学位置对,不是 GPU kernel 的实际乘法次数。真实延迟还取决于 Q/K/V 投影与 FFN、内核实现、调度开销、KV 的读写带宽、GQA 分组复用以及批大小。KV Cache 省去历史位置的前向计算,但不是让每步 Decode 的计算或访存变成常数。

MHA、GQA 与 MQA

标准多头注意力(MHA)为每个 Q 头配一组独立的 K/V 投影。每个头在同一个位置独立算出权重和输出,再由 WO 混合拼接结果。Transformer 原论文 §3.2.2

标准 MHA14 Q → 14 KV每个 Q 头使用独立 K/V 头
MQA14 Q → 1 KV所有 Q 头共享一份 K/V
注意力头 1
x₃ → q₃¹ / k₃¹ / v₃¹

q₃¹ 读取头 1 的 K/V 1–3。

输出 z₃¹
注意力头 2
x₃ → q₃² / k₃² / v₃²

q₃² 读取头 2 的 K/V 1–3。

输出 z₃²
Concat(z₃¹, z₃², …) → Wₒ → 本层注意力输出

分组查询注意力(GQA)让组内的多个 Q 头读取同一组 K/V。多查询注意力(MQA)让所有 Q 头共享一组 K/V。两者都保留每个 Q 头各自的向量、注意力权重和输出。以均匀分组为例,每组包含 HQ/HKV 个 Q 头。GQA 论文 §2.2 · MQA 论文

Q 头 1–7共享 KV 头 1
Q 头 8–14共享 KV 头 2
Qwen2.5-0.5B 的分组映射,每组 14 ÷ 2 = 7 个 Q 头。

这里的“共享”发生在同一层、同一个历史位置的 K/V 数据上,并非把多个 Q 头合并成一个头。Q 头仍然有 14 个,各自计算注意力分数和输出;因此不能把缓存减少到 1/7 直接解释为注意力计算量或端到端延迟也下降到 1/7。

Qwen2.5-0.5B 第 1 层演算

前面是计算机制;下面把抽象的 q、k、v 换成一组真实模型的数字。使用 Qwen2.5-0.5B 的第 1 个注意力层:先以两个 Token 建立缓存,再送入第三个 Token,检查形状、注意力权重以及输出。

The cat sat 对应 token ID [785, 8251, 7578]。模型有 24 层,隐藏维度 896,每层 14 个 Q 头、2 个 KV 头,每头 64 维。表中的形状已拆分头维,轴顺序为 [batch, heads, tokens, head_dim]。固定模型配置 · Tokenizer

Prefill 输入 [[785, 8251]],生成形状分别为 [1,2,2,64] 的 K、V 缓存。Decode 输入 [[7578]],位置编号为 2(从零计),词嵌入经 RMSNorm 后的形状为 [1,1,896]。

张量形状来源
Query[1,14,1,64]14 个不同查询头
Key[1,2,1,64]只为当前新位置产生 2 个 KV 头的 K
Value[1,2,1,64]只为当前新位置产生 2 个 KV 头的 V
追加后的 Key / Value Cache[1,2,3,64](各一个)历史 2 个位置 + 新位置 1 个

在 Transformers v4.57.3 中,Qwen2Model.forward 从缓存长度推导当前位置并准备因果掩码。Qwen2Attention.forward 投影后旋转 Q/K,再调用 Cache.update。这里的 DynamicLayer.update 沿 token 轴拼接新 K/V。eager 路径随后用 repeat_kv 将注意力输入展开到 14 个头,持久缓存仍为 2 个 KV 头。模型入口与掩码 · 注意力与分组 · 动态缓存更新

根据原稿的 CPU FP32 数值记录,位置 3 的 Q 头 1 对三个 K 做点积,再除以 √64 = 8,得到分数 [173.89999, 172.19334, 172.81117]。减去最大值后取指数并归一化,权重约为 [0.658724, 0.119540, 0.221735]。

The65.872%
␠cat11.954%
␠sat22.174%

把 KV 头 1 的 V 第 0 维与舍入后的权重相乘,可复算 Q 头 1 输出的第 0 维:

0.65872 × 0.00767 + 0.11954 × (−0.02547) + 0.22174 × 0.00042 ≈ 0.00210

Q 头 2 读取同一组 K/V,而它的权重约为 [4.78e−7, 0.00069, 0.99931]。14 个头各产生一个 64 维向量,拼成 14 × 64 = 896 维,经 o_proj 给出 [1,1,896] 的注意力子层输出。该分布只描述这个层和头在当前位置的取值。

注意:65.872% 只表示这个固定模型、这一层、这一个 Q 头、这一次输入的注意力权重;不能将其直接当作对应词语对最终预测的“重要性”。

投影形状与第一层数值记录

本步只有一个输入 Token。Q、K、V 各执行一次线性投影,生成各自所有头的数据,三者共用 RMSNorm 的输出 [1, 1, 896]。线性层输入和输出的轴顺序是 [batch, tokens, features],权重按 [out_features, in_features] 排列。

第 1 层 Decode 的投影与注意力计算
操作输入形状投影权重输出形状头布局与计算
q_proj[1, 1, 896][896, 896][1, 1, 896]投影后拆头
[1, 1, 14, 64] → [1, 14, 1, 64]
k_proj[1, 1, 896][128, 896][1, 1, 128]投影后拆头
[1, 1, 2, 64] → [1, 2, 1, 64]
v_proj[1, 1, 896][128, 896][1, 1, 128]投影后拆头
[1, 1, 2, 64] → [1, 2, 1, 64]
注意力Q [1, 14, 1, 64]
K、V 各 [1, 14, 3, 64]
—Z [1, 14, 1, 64]按头批量打分 S = QKᵀ / √64
沿 3 个可见位置归一化 A = softmax(S)
S、A 各为 [1, 14, 1, 3]
按头批量加权 Z = AV
多头合并Z [1, 14, 1, 64]—Zcat [1, 1, 896]transpose(1, 2) → [1, 1, 14, 64]
reshape 展平最后两维,14 × 64 = 896
o_projZcat [1, 1, 896][896, 896][1, 1, 896]对拼接后的 896 维向量做线性投影

Q、K、V 投影后拆头并交换 Token 轴和头轴。对 Q/K 应用 RoPE 并追加当前 K/V 后,K、V 缓存各为 [1, 2, 3, 64]。表中注意力的输入采用 eager 路径按 GQA 分组展开后的形状。QKᵀ 和 AV 各执行一次批量矩阵乘法,以头轴为批量维同时处理 14 个头。

加权结果 Z 已含全部 14 个头。数学上写作 Concat(z₃¹, …, z₃¹⁴),表示按头编号排列同一位置的输出。Qwen2 的 eager 路径用 transpose(1, 2).contiguous() 交换 Token 轴和头轴,再用 reshape 把头维与头内维展平,得到 o_proj 的输入。Qwen2 注意力源码

Q 头 1 · 三个位置的数值记录
位置缩放分数权重V 第 0 维
The173.899990.658720.00767
␠cat172.193340.11954−0.02547
␠sat172.811170.221740.00042

输出投影 o_proj.weight 为 [896,896],无偏置。原记录中,头 1–7 对输出第 0 维的贡献合计 −0.00925,头 8–14 为 −0.00718,总和约为 −0.01643。

Q 头 1、KV 头 1 和 14 个头输出的向量

向量保留原文章记录的 6 位小数,原文注明运行环境为 CPU FP32、Transformers 4.57.3。用固定 checkpoint 的词嵌入、第 1 层 RMSNorm 和注意力参数独立复算,向量与记录的最大绝对差约 7.3 × 10⁻⁶。复算的增量与整段路径在末位置输出投影上的最大绝对差约 8.4 × 10⁻⁷。权重版本

Q 头 1(当前位置,经过 RoPE)
  -0.004441, -0.100846, -0.209875, +0.165749, -7.785727, +0.271318, +0.415182, -0.046624,
  -17.062759, -33.692039, -15.181800, +6.722532, -0.662110, +7.902994, +0.960390, +2.128093,
  -16.234880, +4.202620, -0.593795, -0.996396, +3.491313, +0.290605, +0.451205, +4.864861,
  -3.094864, +2.528187, +2.109828, -1.549175, +0.289388, +1.831788, +0.782594, +2.213985,
  -0.010827, +0.010652, -0.016975, -0.344303, -16.570705, -0.059671, -0.202786, +0.545505,
  +12.404079, +4.775512, +1.065896, -0.003852, -0.033382, -27.716551, -0.176110, -3.598879,
  +9.399623, -1.880278, +1.919703, -0.219927, +3.870611, -2.703453, -3.741017, -3.336851,
  +4.347343, +2.345126, +1.572883, +2.183621, +1.952763, +0.633545, -1.641573, +0.669819

KV 头 1 的 K · The
  -8.446768, -3.813160, -6.408627, +0.692534, -0.045389, +9.252914, +8.443295, -1.058018,
  -0.119782, -0.309534, -0.066828, +0.084699, -23.895832, +0.132094, +20.775133, +0.017537,
  -0.095767, -2.402878, +18.215284, -20.979017, +7.722961, -7.017198, -11.430861, +16.473783,
  -31.357283, +3.439160, +32.682285, +5.732925, +32.951000, +112.687767, +35.442390, +121.247116,
  +6.339489, +8.743207, +3.692866, -6.709107, -0.179720, -1.630972, -1.479753, +9.364368,
  +0.251024, -0.143789, +0.159226, +0.057670, +10.045707, -0.005301, -20.841751, +0.256626,
  -0.071279, +1.241129, +21.194967, -10.880297, +3.878803, -5.112913, -10.960475, +7.933286,
  -10.543342, +16.870195, +10.122365, +51.567245, +24.070190, +37.767891, -130.358582, +68.762299

KV 头 1 的 K · ␠cat
  -10.302408, -8.053579, -7.496255, +2.517591, -0.252192, +9.344287, +8.698078, -1.717648,
  +0.120862, -0.234245, -0.061012, +0.147064, -24.091604, -0.022079, +20.804947, -0.697791,
  +0.068077, -2.376560, +18.931139, -21.262932, +7.968781, -5.697092, -11.796911, +16.476904,
  -31.582399, +3.344469, +33.156288, +5.865339, +32.598930, +112.076797, +35.867653, +121.038879,
  -3.598581, +5.205008, +0.878081, -6.356515, -0.081141, -0.139762, -0.616598, +9.366689,
  +0.161198, -0.025499, -0.002121, -0.089363, +9.853989, +0.124148, -19.960878, +0.239538,
  -0.295312, +0.461098, +20.948641, -11.734899, +4.042646, -5.253279, -11.194863, +7.983961,
  -11.161513, +17.047173, +10.401231, +52.182476, +25.079535, +35.387596, -130.045380, +69.119743

KV 头 1 的 K · ␠sat
  -2.682084, -9.453181, -7.173626, +4.252858, -0.309356, +9.299815, +8.643692, -2.232335,
  +0.133351, -0.210646, -0.136626, +0.091385, -24.161783, -0.058130, +20.915304, -0.886914,
  +0.008467, -2.428351, +19.099594, -21.204906, +8.063102, -5.612517, -11.578401, +16.432678,
  -31.498619, +3.361435, +33.394272, +5.902329, +32.811825, +111.758850, +36.497311, +120.990913,
  -10.478822, -0.638794, -2.227417, -5.348859, -0.137763, +0.960440, +0.044156, +9.143929,
  +0.211476, +0.020045, -0.103958, -0.110625, +9.615383, +0.067213, -19.865152, +0.218717,
  -0.351559, +0.309846, +20.964333, -11.462437, +4.221155, -5.257829, -11.253092, +7.900235,
  -11.142466, +17.083008, +10.539283, +52.540855, +24.840368, +35.006702, -129.991241, +69.148170

KV 头 1 的 V · The
  +0.007667, +0.024537, -0.001566, -0.009496, -0.016100, -0.011520, +0.010095, +0.050218,
  -0.028684, -0.021829, +0.006304, -0.051343, +0.026486, +0.019907, +0.001167, +0.004582,
  +0.024880, -0.022989, -0.015955, +0.023626, +0.005108, -0.027677, +0.006674, +0.016312,
  +0.008681, +0.001599, -0.003769, -0.105739, +0.025662, -0.026600, +0.027772, +0.037764,
  +0.088691, -0.004601, +0.006184, -0.002812, -0.027052, +0.023274, +0.005682, -0.000710,
  -0.020195, -0.001953, +0.004866, +0.020861, -0.004089, -0.003147, +0.001929, +0.016058,
  +0.016311, -0.013534, +0.000941, -0.002879, +0.018793, +0.014509, +0.005165, -0.013431,
  -0.010676, +0.025564, +0.040111, +0.013231, +0.029950, -0.010538, -0.038758, +0.026396

KV 头 1 的 V · ␠cat
  -0.025466, -0.005152, -0.001444, -0.016997, +0.006868, +0.008670, -0.017188, -0.048236,
  +0.002501, -0.011641, +0.007918, +0.002064, -0.022278, -0.008073, +0.013950, +0.002565,
  +0.008749, -0.006546, +0.004041, +0.032842, +0.003291, +0.006171, +0.017551, +0.003535,
  +0.021742, -0.008747, +0.000217, +0.010920, +0.037452, -0.021662, +0.050959, -0.003985,
  +0.100245, -0.014201, +0.009776, -0.017674, +0.027995, -0.025697, +0.022952, -0.015250,
  +0.017847, -0.010167, -0.011016, -0.008073, -0.014707, +0.000914, -0.014829, +0.014904,
  +0.036929, +0.016694, +0.007712, +0.005790, +0.010952, -0.004989, +0.006021, -0.003675,
  +0.008032, -0.011083, -0.001274, +0.010965, +0.004728, -0.009547, -0.014892, -0.007260

KV 头 1 的 V · ␠sat
  +0.000424, -0.006777, +0.005161, -0.006723, +0.009255, +0.002879, -0.015312, -0.026722,
  +0.005409, -0.019226, -0.023690, +0.003415, -0.034798, +0.014315, +0.004311, -0.026788,
  +0.016652, +0.014913, +0.016575, +0.015280, -0.003164, +0.004165, -0.006687, -0.004355,
  +0.009537, +0.006175, -0.016485, +0.019934, -0.021366, +0.006269, +0.011908, +0.004707,
  +0.109217, +0.002480, +0.004144, +0.019497, -0.001399, +0.038558, +0.003230, -0.016140,
  -0.005528, +0.001124, +0.002949, +0.012794, +0.001211, +0.012566, +0.000052, -0.000856,
  -0.034818, -0.006653, +0.015508, +0.011056, -0.007440, +0.007156, +0.009836, -0.003471,
  +0.006954, +0.022499, -0.032480, -0.011249, -0.001175, +0.005815, +0.006037, +0.022944

Q 头 1 的 64 维输出
  +0.002100, +0.014044, -0.000060, -0.009777, -0.007732, -0.005914, +0.001200, +0.021389,
  -0.017396, -0.020034, -0.000154, -0.032817, +0.007068, +0.015322, +0.003393, -0.002615,
  +0.021127, -0.012619, -0.006352, +0.022877, +0.003057, -0.016570, +0.005011, +0.010202,
  +0.010432, +0.001377, -0.006112, -0.063927, +0.016644, -0.018722, +0.027026, +0.025443,
  +0.094624, -0.004179, +0.006161, +0.000358, -0.014784, +0.020809, +0.007203, -0.005869,
  -0.012395, -0.002253, +0.002542, +0.015614, -0.004183, +0.000823, -0.000490, +0.012170,
  +0.007439, -0.008395, +0.004981, +0.001247, +0.012039, +0.010548, +0.006303, -0.010056,
  -0.004530, +0.020504, +0.019068, +0.007532, +0.020033, -0.006794, -0.025972, +0.021607

Q 头 2 的 64 维输出
  +0.000406, -0.006776, +0.005157, -0.006730, +0.009253, +0.002883, -0.015314, -0.026737,
  +0.005407, -0.019220, -0.023668, +0.003414, -0.034790, +0.014300, +0.004317, -0.026768,
  +0.016647, +0.014899, +0.016567, +0.015293, -0.003160, +0.004166, -0.006671, -0.004350,
  +0.009545, +0.006164, -0.016474, +0.019927, -0.021325, +0.006250, +0.011935, +0.004701,
  +0.109211, +0.002469, +0.004148, +0.019472, -0.001379, +0.038514, +0.003244, -0.016140,
  -0.005512, +0.001116, +0.002939, +0.012780, +0.001200, +0.012558, +0.000041, -0.000845,
  -0.034769, -0.006637, +0.015503, +0.011052, -0.007427, +0.007147, +0.009834, -0.003471,
  +0.006955, +0.022476, -0.032459, -0.011234, -0.001170, +0.005804, +0.006023, +0.022924

Q 头 3 的 64 维输出
  -0.010546, -0.004843, +0.002026, -0.011297, +0.007223, +0.004832, -0.015131, -0.033057,
  +0.002808, -0.016030, -0.008774, +0.000680, -0.026953, +0.004802, +0.008378, -0.012798,
  +0.013539, +0.004099, +0.009851, +0.023242, -0.000034, +0.003788, +0.004373, -0.000115,
  +0.014809, -0.000491, -0.008726, +0.011087, +0.006046, -0.007161, +0.029505, +0.002225,
  +0.104512, -0.005049, +0.006672, +0.002464, +0.010372, +0.010027, +0.011899, -0.015148,
  +0.004058, -0.003905, -0.003046, +0.004040, -0.005916, +0.006885, -0.006343, +0.006658,
  -0.001625, +0.003226, +0.011548, +0.008220, +0.001583, +0.002165, +0.007994, -0.003950,
  +0.006732, +0.008021, -0.016069, -0.000633, +0.002612, -0.001504, -0.004817, +0.009950

Q 头 4 的 64 维输出
  -0.000134, +0.015570, -0.001004, -0.010910, -0.009073, -0.005971, +0.002124, +0.022626,
  -0.019170, -0.019400, +0.004268, -0.035339, +0.010974, +0.013361, +0.004205, +0.001644,
  +0.020708, -0.016386, -0.009005, +0.024971, +0.004053, -0.017762, +0.007981, +0.011880,
  +0.011597, -0.000293, -0.003913, -0.070297, +0.024488, -0.022906, +0.031564, +0.026029,
  +0.092845, -0.006130, +0.006805, -0.004276, -0.013008, +0.013813, +0.009252, -0.005109,
  -0.010732, -0.003499, +0.001250, +0.013910, -0.005982, -0.001010, -0.001874, +0.014460,
  +0.016736, -0.006396, +0.003577, +0.000121, +0.014995, +0.009672, +0.005724, -0.010511,
  -0.005193, +0.017330, +0.025308, +0.010788, +0.021972, -0.009020, -0.029987, +0.018783

Q 头 5 的 64 维输出
  -0.002559, +0.012902, -0.000861, -0.011371, -0.006986, -0.004294, -0.000261, +0.014313,
  -0.016343, -0.018647, +0.003780, -0.030569, +0.006394, +0.011324, +0.005147, +0.000879,
  +0.019433, -0.014497, -0.006979, +0.025438, +0.003763, -0.014796, +0.008463, +0.010588,
  +0.012513, -0.000913, -0.003892, -0.059758, +0.024360, -0.021910, +0.032843, +0.022496,
  +0.094050, -0.006650, +0.007011, -0.004853, -0.008707, +0.010749, +0.010392, -0.006418,
  -0.007822, -0.004003, +0.000119, +0.011758, -0.006607, -0.000417, -0.003065, +0.014043,
  +0.017133, -0.004178, +0.004334, +0.000996, +0.013931, +0.008184, +0.005876, -0.009640,
  -0.003553, +0.014747, +0.021010, +0.010143, +0.019615, -0.008625, -0.027450, +0.016398

Q 头 6 的 64 维输出
  -0.008807, -0.003104, +0.001971, -0.010936, +0.005870, +0.003700, -0.013558, -0.027487,
  +0.000973, -0.016568, -0.008638, -0.002436, -0.024026, +0.006267, +0.007704, -0.012468,
  +0.014420, +0.002987, +0.008597, +0.022833, +0.000119, +0.001834, +0.003916, +0.000685,
  +0.014138, +0.000002, -0.008837, +0.004237, +0.005787, -0.007651, +0.028440, +0.004590,
  +0.103775, -0.004611, +0.006504, +0.003059, +0.007384, +0.012409, +0.011038, -0.014296,
  +0.002015, -0.003509, -0.002224, +0.005571, -0.005414, +0.006564, -0.005477, +0.006839,
  -0.002304, +0.001637, +0.011098, +0.007678, +0.002173, +0.003211, +0.007917, -0.004519,
  +0.005651, +0.009909, -0.013435, -0.000340, +0.004121, -0.001673, -0.006357, +0.011688

Q 头 7 的 64 维输出
  -0.014228, -0.004388, +0.001026, -0.012798, +0.006700, +0.005565, -0.015222, -0.035617,
  +0.002149, -0.014955, -0.004005, +0.000099, -0.024715, +0.001614, +0.009746, -0.008345,
  +0.012458, +0.000737, +0.007815, +0.025832, +0.000955, +0.003853, +0.007962, +0.001168,
  +0.016562, -0.002675, -0.006228, +0.008902, +0.014858, -0.011420, +0.035248, +0.001205,
  +0.103074, -0.007504, +0.007499, -0.003053, +0.014430, +0.000654, +0.014760, -0.014911,
  +0.007325, -0.005554, -0.005046, +0.001088, -0.008249, +0.005094, -0.008476, +0.009050,
  +0.009080, +0.006544, +0.010321, +0.007363, +0.004420, +0.000466, +0.007411, -0.004050,
  +0.006763, +0.003201, -0.011057, +0.002743, +0.003682, -0.003834, -0.008151, +0.005619

Q 头 8 的 64 维输出
  -0.030384, +0.011986, +0.005370, +0.008583, -0.015937, -0.012025, +0.004910, -0.000426,
  -0.006360, -0.004174, +0.040115, +0.009207, +0.008721, -0.006973, +0.007867, -0.019587,
  +0.013287, -0.008930, +0.003347, -0.038841, -0.011137, +0.021110, -0.032583, -0.019095,
  +0.003282, +0.031738, -0.008455, -0.005264, +0.013877, +0.008107, +0.018775, +0.006719,
  -0.030874, -0.055514, -0.002013, -0.003455, -0.018956, +0.003848, -0.009594, -0.007217,
  +0.013136, +0.011614, +0.008242, +0.017728, +0.014873, -0.011969, -0.010940, -0.024014,
  -0.007397, +0.064148, -0.039387, -0.016624, +0.005288, -0.008396, +0.005591, +0.026950,
  -0.003890, +0.019542, -0.004530, +0.002537, -0.017508, +0.018450, +0.004030, +0.005533

Q 头 9 的 64 维输出
  -0.030626, +0.011966, +0.002656, +0.008151, -0.015340, -0.013366, +0.006762, +0.001483,
  -0.006778, -0.004221, +0.039588, +0.010923, +0.008997, -0.006951, +0.008739, -0.020750,
  +0.013308, -0.010703, +0.003624, -0.036915, -0.011085, +0.021115, -0.031718, -0.020113,
  +0.004470, +0.032753, -0.007596, -0.005393, +0.013990, +0.006192, +0.020333, +0.005726,
  -0.030208, -0.055432, -0.001088, -0.003978, -0.019135, +0.003378, -0.010077, -0.007094,
  +0.013554, +0.009242, +0.008717, +0.016490, +0.014218, -0.013589, -0.011544, -0.025937,
  -0.008243, +0.063800, -0.038535, -0.016938, +0.006296, -0.008259, +0.005140, +0.029387,
  -0.004772, +0.018303, -0.006390, +0.002769, -0.016447, +0.018232, +0.003351, +0.005160

Q 头 10 的 64 维输出
  -0.030569, +0.003477, -0.029649, -0.025847, -0.011329, -0.011168, -0.024287, -0.013961,
  +0.001758, +0.000269, +0.007352, -0.013455, +0.013122, +0.007667, -0.001283, -0.040891,
  +0.001624, -0.037650, +0.006126, -0.006845, -0.014020, -0.013693, -0.007426, +0.004397,
  -0.022595, +0.034915, +0.001656, -0.003931, +0.014017, +0.028571, -0.005415, +0.027544,
  +0.039650, +0.003409, -0.010557, -0.005963, -0.015986, -0.018560, -0.038434, +0.049886,
  -0.007841, +0.029708, +0.033106, +0.002016, +0.004462, +0.002555, -0.024077, -0.045256,
  -0.019548, +0.012837, -0.019005, +0.009051, -0.003490, -0.022836, -0.012259, -0.020892,
  -0.015366, +0.015102, +0.041177, -0.000287, -0.029074, +0.010622, -0.004410, +0.021578

Q 头 11 的 64 维输出
  -0.030704, +0.011569, +0.000271, +0.006444, -0.014957, -0.013709, +0.005947, +0.001405,
  -0.006524, -0.004030, +0.037931, +0.010370, +0.009278, -0.006271, +0.008568, -0.022062,
  +0.012778, -0.012529, +0.003831, -0.034894, -0.011203, +0.019515, -0.030314, -0.019323,
  +0.003619, +0.033189, -0.006886, -0.005368, +0.014029, +0.006587, +0.019665, +0.006401,
  -0.026775, -0.052698, -0.001217, -0.004243, -0.019049, +0.002213, -0.011541, -0.004433,
  +0.012709, +0.009397, +0.009996, +0.015414, +0.013553, -0.013384, -0.012321, -0.027463,
  -0.009043, +0.061341, -0.037354, -0.015847, +0.006180, -0.008884, +0.004191, +0.027882,
  -0.005551, +0.017744, -0.004819, +0.002706, -0.016676, +0.017809, +0.002770, +0.005791

Q 头 12 的 64 维输出
  -0.030658, +0.006515, -0.018828, -0.013777, -0.012599, -0.012334, -0.012631, -0.007885,
  -0.001421, -0.001354, +0.018764, -0.004229, +0.011720, +0.002431, +0.002557, -0.033996,
  +0.005820, -0.028486, +0.005307, -0.017086, -0.012953, -0.001209, -0.015893, -0.004679,
  -0.012555, +0.034426, -0.001420, -0.004492, +0.014039, +0.020006, +0.004257, +0.019441,
  +0.014785, -0.017669, -0.006901, -0.005399, -0.017166, -0.010825, -0.028401, +0.029487,
  -0.000050, +0.021701, +0.024494, +0.006858, +0.007776, -0.003691, -0.019753, -0.038869,
  -0.015732, +0.031015, -0.025769, -0.000358, +0.000303, -0.017570, -0.006146, -0.002175,
  -0.011815, +0.015901, +0.023595, +0.000874, -0.024247, +0.013289, -0.001818, +0.015585

Q 头 13 的 64 维输出
  -0.030769, +0.006931, -0.018417, -0.012269, -0.012535, -0.013038, -0.010259, -0.006267,
  -0.002032, -0.001600, +0.020141, -0.002251, +0.011636, +0.001711, +0.003444, -0.033504,
  +0.006413, -0.027924, +0.005304, -0.017735, -0.012784, +0.000533, -0.016724, -0.006355,
  -0.010676, +0.034767, -0.001502, -0.004621, +0.014088, +0.018039, +0.006234, +0.017911,
  +0.011589, -0.020573, -0.006017, -0.005531, -0.017402, -0.009937, -0.027198, +0.026694,
  +0.001204, +0.019627, +0.023486, +0.007033, +0.007974, -0.005216, -0.019394, -0.038756,
  -0.015542, +0.033408, -0.026367, -0.001796, +0.001239, -0.016781, -0.005476, +0.001418,
  -0.011676, +0.015511, +0.020394, +0.001130, -0.023146, +0.013573, -0.001731, +0.014599

Q 头 14 的 64 维输出
  -0.030613, +0.006009, -0.020300, -0.015745, -0.012462, -0.011970, -0.014818, -0.009143,
  -0.000835, -0.001076, +0.016918, -0.005992, +0.011920, +0.003306, +0.001803, -0.035005,
  +0.005114, -0.029798, +0.005409, -0.015613, -0.013139, -0.003302, -0.014583, -0.003030,
  -0.014387, +0.034380, -0.001013, -0.004382, +0.014021, +0.021683, +0.002440, +0.020924,
  +0.018868, -0.014147, -0.007630, -0.005427, -0.016945, -0.012062, -0.030021, +0.032890,
  -0.001409, +0.023342, +0.025877, +0.006203, +0.007303, -0.002440, -0.020401, -0.039697,
  -0.016265, +0.028012, -0.024742, +0.001258, -0.000459, -0.018470, -0.007114, -0.005619,
  -0.012299, +0.015923, +0.026776, +0.000650, -0.025190, +0.012870, -0.002167, +0.016637

解码路径复现

文章中的模型参数、Token ID 与第 1 层注意力数据都固定到了具体版本。下面的最小脚本使用同一组 [785, 8251, 7578] 输入,分别执行“全前缀前向”和“Prefill 2 个 Token + Decode 1 个 Token”,比较预测位置 4 的 logits 与第 1 层权重。

MODELQwen2.5-0.5B
LIBRARYTransformers 4.57.3
BACKENDCPU · FP32 · eager
INPUT[785, 8251, 7578]

原稿记录:第 1 个 Q 头的权重约为 [0.658724, 0.119540, 0.221735],输出第 0 维约为 0.002100。原稿还报告了向量复算与增量/整段路径的误差;本文保留这些观察值,但不把未在当前环境实际重跑的结果标为“已重新验证”。脚本提供复核这些数字的路径,浮点舍入与平台差异可能导致末位不同。

展开:完整 Python 复现脚本与运行方式

安装所需库:pip install "transformers==4.57.3" torch。首次执行需下载模型和 tokenizer,建议在可联网环境运行;该脚本仅用于检验计算,不用于性能基准测试。

下载完整复现实验脚本(.py)

#!/usr/bin/env python3
"""Qwen2.5-0.5B: compare full-prefix vs cached incremental decoding.
Requires: torch and transformers==4.57.3, plus model download access.
Run: python kv-cache-qwen-reproduce.py
"""

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_ID = "Qwen/Qwen2.5-0.5B"
REVISION = "060db6499f32faf8b98477b0a26969ef7d8b9987"
TOKEN_IDS = [785, 8251, 7578]  # The /  cat /  sat (see tokenizer below)


def main():
    torch.manual_seed(0)
    torch.set_num_threads(4)
    tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, revision=REVISION)
    actual = tokenizer.encode("The cat sat", add_special_tokens=False)
    print("Tokenizer IDs:", actual)
    if actual != TOKEN_IDS:
        raise RuntimeError(f"Unexpected tokenizer IDs: {actual}; expected {TOKEN_IDS}")

    model = AutoModelForCausalLM.from_pretrained(
        MODEL_ID,
        revision=REVISION,
        torch_dtype=torch.float32,
        attn_implementation="eager",
    ).cpu().eval()
    ids = torch.tensor([TOKEN_IDS], dtype=torch.long)

    with torch.inference_mode():
        full = model(input_ids=ids, use_cache=False,
                     output_attentions=True, return_dict=True)
        prefill = model(input_ids=ids[:, :2], use_cache=True,
                        output_attentions=True, return_dict=True)

        # Capture first layer's concatenated head outputs, before o_proj.
        captured = {}
        def save_attention_output(_module, inputs):
            captured["before_o_proj"] = inputs[0].detach().clone()
        handle = model.model.layers[0].self_attn.o_proj.register_forward_pre_hook(
            save_attention_output
        )
        try:
            step = model(input_ids=ids[:, 2:],
                         past_key_values=prefill.past_key_values,
                         use_cache=True, output_attentions=True, return_dict=True)
        finally:
            handle.remove()

    # Both paths predict position 4 after processing position 3.
    diff = (full.logits[:, -1, :] - step.logits[:, -1, :]).abs().max().item()
    head1 = step.attentions[0][0, 0, 0, :].tolist()  # [3] keys
    head1_full = full.attentions[0][0, 0, -1, :]
    attn_diff = (head1_full - step.attentions[0][0, 0, 0, :]).abs().max().item()
    z0 = captured["before_o_proj"][0, 0, 0].item()  # Q head 1, feature 0

    print("Cache length after Decode:", step.past_key_values.get_seq_length())
    print("Layer-1 first Q head weights:", [round(x, 6) for x in head1])
    print("Layer-1 first Q head output[0]:", round(z0, 6))
    print("Max attention-weight abs diff:", f"{attn_diff:.3g}")
    print("Max final-logits abs diff:", f"{diff:.3g}")
    print("Layer-1 attention shape in Decode:", tuple(step.attentions[0].shape))
    # Do not require bitwise identity: different kernels/orders can change rounding.


if __name__ == "__main__":
    main()

脚本会打印 Tokenizer ID、Decode 后缓存长度、注意力权重、输出向量中的一个数值,以及两条路径的最大绝对差。输出差异取决于实际环境,不能由理论公式保证逐位一致。

KV 容量与读取量

单条序列每层保留 T 个位置,且层间 KV 配置相同时,逻辑 KV 数据量为:

M = T × L × HKV × (dK + dV) × b
L 为注意力层数,HKV 为每层 KV 头数,dK、dV 为每头维度,b 为每元素字节数

以 16 位缓存为例,Qwen2.5-0.5B 每增加一个位置,24 层合计新增 24 × 2 × (64 + 64) × 2 = 12,288 B,即 12 KiB。8,192 个位置占 96 MiB,32,768 个位置占 384 MiB。长度翻至 4 倍时,KV 数据量和单步每个 Q 头的可见位置数也都翻至 4 倍。

固定 24 层、14 个 Q 头、每头 K/V 各 64 维、8,192 个位置和 16 位缓存
注意力结构每层 KV 头数每位置 KV单序列 KV
MHA(架构对照)1484 KiB672 MiB
GQA(Qwen2.5-0.5B)212 KiB96 MiB
MQA(架构对照)16 KiB48 MiB

表中只改变 KV 头数,因此 GQA 的逻辑 KV 容量为假设 MHA 的 1/7。三种结构均有 14 个 Q 头,每层的可见 Q–K 位置对均为 14 × T。模型权重、质量和延迟需要在各自配置下另行比较。

对全因果 Decode,设每个独立的 K/V 元素只从 HBM 读一次,跨全部注意力层累计的逻辑读取数据量与上述 KV 数据量 M 同量级。它不是实际 HBM 流量的精确预测:GQA 中组内共享可以减少重复读取,实际内核也可能重新加载、使用片上缓存、执行动态拼接,或者采用量化与分页等布局。计算容量时还没有计入块尾空隙、量化元数据、分配开销以及多请求的共享关系。

KV 容量估算器

单条序列的逻辑 KV 数据量,K 与 V 等长。低比特选项按理想紧凑存储计算。默认参数为 Qwen2.5-0.5B 的 16 位缓存,计算器接受其他模型的参数。

理论缓存体积96 MiB每个位置 12 KiB
KV Cache 综述 Fig. 1 · 解码器与多头注意力
左侧是综述中的解码器示意,右侧显示 Q、K、V 经线性变换进入点积注意力,随后拼接并做线性投影。

KV Cache 综述 Fig. 1 · 解码器与多头注意力。右侧标出 Q/K/V 的投影与头输出的拼接。左侧为通用结构示意,Qwen2 的执行顺序和 GQA 分组见上文。综述原图

长上下文的开销

KV Cache 把每步必须处理的历史位置,从“重新跑过网络”变成“读取已经保存的 K/V”。这是计算复用,而不是历史信息消失了。对于有 T 个可见位置的全因果 Decode,新的 Query 仍要访问对应的 K/V;随着上下文增长,缓存容量、读写量以及请求并发都会影响实际吞吐和延迟。

计算

旧位置的投影、注意力与 FFN 无需重算;当前位置仍需完成所有层。

容量

逻辑 KV 大小随 Token 数、层数和 KV 头数增长。

访存

长上下文 Decode 往往需要反复读取历史 K/V;GQA、分页和高效内核影响最终表现。

一条新 Token 的计算路径可以这样记住:进入当前层 → 生成 Q/K/V → 读本层历史 KV 并追加当前 KV → 当前 Q 聚合所有可见 V → 经输出投影、残差和 FFN 进入下一层 → 穿过全部层后得到下一 Token 的 logits。回到交互演示。

参考资料