在前面的分析中，我们发现 MiniCPM5-2B 的注意力并不是随机分布，也不是简单跟随全局 token 频率，而是强烈跟随~96–128 token 局部窗口的统计量。于是我们自然追问：
如果完全不算 q·k，只用距离、频率、惊异度这些廉价特征，能不能预测注意力？
如果能预测，就能做 KV 压缩、驱逐、稀疏化，甚至绕开昂贵的注意力矩阵。
这条实验线从“查表预测器”一路走到“Triton 稀疏候选注意力内核”，最终得到了一条可部署的 KV 管理管线。
0. 实验基线与评价指标
- 模型：MiniCPM5-2B（Llama 架构，42 层 / 16 头 / GQA 2 KV 头 / hidden 2048 / bf16），部分实验跨模型验证 Qwen3-1.7B。
- 数据：minimind SFT 语料，拼接为文本流，切 256 token chunk；长上下文实验用 L=1024。
- 硬件：RTX 2070，torch 2.14+cu126。
- 指标：
- ρ：预测分数与真实注意力的 Spearman 秩相关。
- 召回@32：真实 top-32 key 中，预测 top-32 覆盖多少。
- 质量捕获：预测 top-32 拿到的真实注意力质量占比。随机基线约 0.12–0.25。
- 驱逐损失：驱逐 50% key 后，被驱逐质量占真实总质量比例。
- PPL：语言模型困惑度。
- 墙钟：内核实际耗时。
1. 非 attention 注意力预测器：查表能走多远？
问题：不看任何 q·k 计算，只用廉价特征查表预测注意力质量，能到什么程度？
特征：
- 距离桶
d = t−j - 128 窗惊异度
s128 - 全局惊异度
s_glob
做法：训练/测试按序列划分，逐格回退查表。
结果：
| 层 | P1 距离 ρ/召回/质量 | P2 +s128 | P3 +s128+s_glob |
|---|---|---|---|
| L0 | +0.28 / 0.36 / 0.27 | +0.30 / 0.36 / 0.27 | +0.40 / 0.47 / 0.29 |
| L8 | −0.18 / 0.20 / 0.51 | −0.08 / 0.24 / 0.63 | +0.13 / 0.38 / 0.73 |
| L12 | +0.01 / 0.36 / 0.60 | −0.06 / 0.25 / 0.64 | +0.17 / 0.35 / 0.71 |
| L30 | −0.14 / 0.17 / 0.40 | −0.06 / 0.18 / 0.53 | +0.16 / 0.34 / 0.67 |
| L41 | −0.12 / 0.22 / 0.55 | −0.13 / 0.22 / 0.60 | −0.01 / 0.24 / 0.66 |
结论：
- 可以预测，但只能预测“背景质量”。深层 3 特征查表能拿到60–74% 真实注意力质量，是随机基线的 3–5 倍。
- 精确 top-k 不可预测。top-32 召回仅 0.20–0.47，远低于安全线 0.99。
- 分解成立：注意力 = 可预测的“背景质量”（位置+频率决定，占 60–74%）+ 不可预测的“内容身份”（q·k 匹配决定）。
可预测的恰是弥散/锚点部分，不可预测的恰是难词聚焦部分。
工程含义：cheap 先验可用作 KV 准入、剪枝的软信号，但不能做精确 top-k 选择。
2. 多长度窗混合特征：64+128 互补
升级：d × {s64, s128, s256 中位二档} × s_glob，逐格回退查表，42 层均值。
| 预测器 | ρ | top-32 召回 | 质量捕获 |
|---|---|---|---|
| P1 距离 | −0.038 | 0.283 | 0.456 |
| P2 单窗 s64 / s128 | −0.026 / −0.033 | 0.280 / 0.257 | 0.496 / 0.512 |
| P3 s128+全局 | +0.145 | 0.329 | 0.610 |
| PM 双窗 64+128+全局 | +0.179 | 0.326 | 0.625 |
| PM 三窗 64+128+256+全局 | +0.181 | 0.330 | 0.634 |
结论：
- 多窗混合有效：ρ +0.145→+0.181，质量 0.610→0.634；64 与 128 窗互补。
- 天花板不动：top-32 召回仍 ≈0.33。加窗改善了“质量预算”估计，但“内容身份”预测依然被 q·k 垄断。
- 与定律 2 一致：有效窗按层分化（64–128 平台），预测器同时带 64+128 正好覆盖两档。
3. GBM v1：16 维特征 + KV 驱逐仿真
升级：16 维特征（几何 4 + 重复 5 + 信息量 5 + 词元 2）× 逐层 HistGradientBoosting，64 序列训练/测试分离，附 KV 驱逐仿真。
| 预测器 | ρ | top-32 召回 | 质量捕获 | 驱逐损失(50%) |
|---|---|---|---|---|
| 查表 PM_3w | +0.181 | 0.330 | 0.634 | — |
| GBM 全特征 | +0.523 | 0.585 | 0.813 | 0.102 |
| GBM 去几何特征消融 | +0.431 | 0.486 | 0.744 | 0.122 |
| recency 基线（驱逐最老） | — | — | — | 0.491 |
| random 基线 | — | — | — | 0.518 |
结论：
- GBM 大幅跃升：质量捕获 0.63→0.81，驱逐损失 0.49→0.10（recency 基线的 1/4.8）。
- 特征重要性：
j/L（绝对位置）独占 93.5%——注意力有强烈的绝对位置先验（chunk 起点 + sink 区）。 - 消融显示：去掉全部几何特征后，信息量特征仍达 mass 0.74 / ρ 0.43——内容统计可预测分量独立成立。
- 天花板仍清晰：recall 0.59 << 0.99，精确 top-k 依旧必须算注意力。
- 落地价值：GBM 分数（16 个查表特征 + 轻量 GBM，每 token 微秒级）可直接做 KV 缓存驱逐评分——50% 驱逐下只丢 10% 注意力质量。
4. GBM v2：词元交互 + 层间级联
新特征：
emb_dot = ⟨emb[q], emb[k]⟩（词表级相似度）emb_norm_q- 标点/换行类、断句距离
mass_prev= 上一层真实注意力行质量（推理时本来就算了，免费）
| 预测器 | ρ | top-32 召回 | 质量捕获 | 驱逐损失(50%) |
|---|---|---|---|---|
| GBM v1（16 特征） | +0.538 | 0.602 | 0.821 | 0.096 |
| GBM v2（21 特征） | +0.567 | 0.622 | 0.831 | 0.089 |
| GBM v2 + 层间级联 | +0.841 | 0.776 | 0.888 | 0.048 |
结论：
- 级联是质变：上一层注意力质量作为本层特征，ρ 0.57→0.84、驱逐损失 0.089→0.048。注意力剖面层间高度自相关，“逐层级联预测”是把免费信息接进管线。
emb_dot有贡献但小（重要性 0.004 vsemb_norm0.141）——词表级相似度代替不了层内 q·k。- v2 特征重要性：
j/L0.763 仍居首，emb_norm升至 0.141。
5. v3 细粒度级联 + 跨模型验证
v3 特征= base21 + 上一层头平均质量 +上一层 16 头各自质量+隔层头平均质量。
自适应压缩：对折双 GBM 预测差作不确定度，查询级分层保留率（高不确定 70% / 低 30%，均值≈50%），与均匀 50% 对比。
双模型验证：MiniCPM5-2B 与 Qwen3-1.7B。
| 指标 (42层/28层均值) | MiniCPM v2级联 | MiniCPM v3细粒度 | Qwen3 v2级联 | Qwen3 v3细粒度 |
|---|---|---|---|---|
| ρ | 0.841 | 0.894 | 0.831 | 0.877 |
| 召回@32 | 0.776 | 0.815 | 0.790 | 0.820 |
| 质量捕获 | 0.888 | 0.894 | 0.899 | 0.904 |
| 驱逐损失(均匀50%) | 0.048 | 0.043 | 0.042 | 0.039 |
结论：
- 细粒度级联有效且跨模型稳定：多头质量 + 隔层特征在两模型上同样 +0.05 ρ、驱逐损失降至3.9–4.3%（50% 压缩）。
- 查询级自适应压缩：负结果——不确定度分层（30%/70%）在两模型上都不敌均匀 50%。对折 GBM 的预测 std 作为查询级不确定度信号太弱，且高不确定查询的注意力本就集中于少数 key，均匀预算已够覆盖。自适应需要 key 级而非查询级的不确定度才可能有效。
- 级联结论跨模型成立：两模型各级指标差 <0.02，级联增益（+0.05ρ）与自适应负结果均复现。
6. 两阶段：预测筛候选 + 候选内精确
流程：GBM v3 打分全宇宙（128 key）→ top-C 候选 → 候选内按真实分数取 top-32。
42 层均值召回曲线：
| C（候选数） | 32(直通) | 48 | 64 | 96 | 128 |
|---|---|---|---|---|---|
| 召回@32 | 0.814 | 0.936 | 0.975 | 0.996 | 1.000 |
| 注意力算力占比 | 25% | 37.5% | 50% | 75% | 100% |
分层：C=64 达标 5 层，C=96 达标 32 层，4 层在 128 内不达标。
结论：
- 机制验证成功：GBM+候选内精确能把召回推到0.9956（C=96）——统计预测器确实能缩小精确注意力必须看的范围，且质量捕获 0.907 不变。
- 修正此前估计：在本 128-key 宇宙内，0.99 召回需要 C=96=75% 算力（仅 1.33× 提速），不是此前口头估计的 3–4×。提速倍数真正来自长上下文：候选数 C≈96 是绝对量，N=4096 时只需读 2.3% 的 KV，算力占比 2.3%。
- 自适应选 C 首版失败：质量份额阈值(0.55)几乎总触发自信分支（avg_C=32），召回停在 0.81——需要用校准过的分数边界而非质量份额。
- 层间差异大：L14/L21 C=64 即 0.99，L35/L41/L7 需 C=96——逐层选 C 比全局 C 更优。
7. 长上下文 L=1024 候选验证
设置：B=1 骨干前向（跳过 lm_head 省显存），全宇宙 = t+1 ≈ 513–1024 key（真全宇宙）。GBM 训练 2 序列 / 测试 4 序列（24 查询）。direct = GBM 直接 top-256，无候选内精确。
| 层 | direct-256 召回 | C=128 | C=384 | C=768 | 算力占比(direct) |
|---|---|---|---|---|---|
| L7 | 0.885 | 0.876 | 0.887 | 0.934 | 25% |
| L14 | 0.991 | 0.988 | 0.991 | 0.995 | 25% |
| L21 | 0.964 | 0.954 | 0.967 | 0.981 | 25% |
| L28 | 0.999 | 0.983 | 0.999 | 1.000 | 25% |
| L35 | 0.986 | 0.960 | 0.987 | 0.995 | 25% |
| L41 | 0.943 | 0.917 | 0.947 | 0.960 | 25% |
结论：
- 长上下文让 GBM 排序相对更强：direct-256（25% 算力）平均召回 ≈0.96，远超 256 上下文时的 0.81——宇宙变大后真 top-32 的背景部分更容易被位置/频率特征排对。
- 候选内精确的增益变小（+0.5–2 点）：需要验证的只剩少量内容 key。两阶段管线在长上下文的正确形态是“direct 为主 + 候选精确兜底”。
- 硬层仍是 L7（早层全局积分）与 L41（末层）——与坍缩/末层结论一致，这两类层不做压缩或用大 C。
- 局限：24 测试查询、单模型、单域；结论是方向性的。
8. 最终验收：PPL + 速度全面对比
设置：MiniCPM5-2B，L=1024，训练区[0,800行)/评估区[800,1600行)分离，逐层干预式前向。
质量（PPL，25% KV 预算，C=256/1024）
| 配置 | PPL | ΔPPL | 质量损失 |
|---|---|---|---|
| dense（上界） | 5.569 | — | 0 |
| GBM-cascade-256 | 5.603 | +0.61% | 2.7% |
| prev-mass-256（H2O 式） | 5.623 | +0.98% | 2.6% |
| GBM-22（无级联） | 5.713 | +2.58% | 5.8% |
| recency-256（StreamingLLM 式） | 6.519 | +17.06% | 11.7% |
| random-256 | 20.644 | +270.69% | 20.6% |
速度（内核墙钟，RTX 2070）
| 内核 | L=1024 | L=2048 |
|---|---|---|
| dense-SDPA（cuDNN/flash） | 4.3ms | 15.5ms |
| gather-候选 C=128（未融合） | 10.8ms (0.40×) | 21.2ms (0.73×) |
| gather-候选 C=256（未融合） | 20.9ms (0.20×) | 41.5ms (0.37×) |
| 评分器（42 层批合并） | 0.73ms/token（约为解码步预算的 2–4%） | — |
验收结论（诚实版）
- 质量验收：通过。级联 GBM 在 25% KV 预算下 ΔPPL=+0.61%，优于 H2O 式 prev-mass（+0.98%），远优于 StreamingLLM 式 recency（+17%）与随机（+271%）。级联增益独立可复现。
- 速度验收：当前实现不通过，且与 E14 一致。未融合的 gather-精确内核被优化的 dense-SDPA 反超（0.2–0.73×）——理论 FLOP 1/4 无法在 Python/非融合内核上兑现。要兑现需要 Triton/CUDA 融合候选内核。
- 可部署形态（无需新内核）：评分器作为KV 驱逐排序器接入现有框架（vLLM/llama.cpp 的 block 驱逐策略）——50% 驱逐损失 2.7%（recency 11.7%），评分开销 0.73ms/token（解码预算的 2–4%）。这是本轮研究的直接可用产出。
- 验收过程的 3 个实现教训：层级别
attention_mask=None= 无因果；固定宽[L,C]allowed 矩阵不可按变长块偏移读取；lm_head前必须有 final norm。
9. Triton 稀疏候选注意力内核
目标：用 Triton 写融合候选注意力内核，真正兑现 KV 带宽收益。
两个内核：
- 解码内核：grid=NH，核内按 IDX gather 候选 K/V 行，online softmax，只读候选行——KV 带宽收益兑现。
- 预填充内核：grid=(L/BQ, NH)，分块 2D gather，online softmax。
正确性：vs 逐头参考实现，bf16 误差 0.003–0.02 ✅。
解码内核（每层毫秒，NH=16，C=256）
| 上下文 | dense-SDPA | Triton 候选 | 加速 | 42 层/token |
|---|---|---|---|---|
| L=8192 | 1.90ms | 0.038ms | 50.7× | 1.6ms |
| L=32768 | 7.41ms | 0.030ms | 245.7× | 1.3ms |
解码注意力不再是长上下文瓶颈（32k 时 42 层合计 1.3ms/token）。
预填充内核（每层毫秒）
正确但慢于dense-SDPA（L=4096 C=256：0.28×）——原因是每 query-block 重复 gather 同一头的候选行（读放大 64–128×）且 2D 随机 gather 非合并访问。同时实测 dense-SDPA 在 L=8192 自身已塌（1812ms/层，4×L 只慢 31×，flash 回退失败）——长上下文预填充 dense 物理上不可行，稀疏是必选项，内核需按块共享候选布局 + SRAM 分块重写。
最终闭环
- 解码内核直接可进推理管线（预测器 0.73ms/token + 注意力 1.6ms/token @32k，合计 ~2.3ms/token 注意力侧开销，对比 dense 311ms =135×）。
- 定律 2 的工程闭环完成：统计预测器（免费）筛候选 → Triton 候选注意力（30–246×）→ 质量代价 +0.61% PPL（预先锁定）。
10. 总结：一条完整的 KV 管理管线
这条实验线从“非 attention 注意力预测器”出发，逐步升级到可部署的 KV 压缩与稀疏内核：
| 世代 | ρ | 召回@32 | 质量捕获 | 驱逐损失(50%) |
|---|---|---|---|---|
| 距离查表 | −0.04 | 0.28 | 0.46 | ~0.49 |
| +多窗惊异度 | +0.18 | 0.33 | 0.63 | — |
| GBM v1 | +0.52 | 0.60 | 0.81 | 0.096 |
| GBM v2 | +0.57 | 0.62 | 0.83 | 0.089 |
| GBM v2+级联 | +0.84 | 0.78 | 0.89 | 0.048 |
| GBM v3 细粒度级联 | +0.89 | 0.82 | 0.89 | 0.043 |
核心结论：
- 注意力 = 可预测的背景质量 + 不可预测的内容身份。背景质量由位置、窗口惊异度、频率决定，占 60–74%；内容身份由 q·k 匹配决定，廉价特征够不着。
- 统计预测器管预算与候选，精确注意力管身份验证。C=96 时召回 0.996；长上下文 direct-256 平均召回 0.96。
- 级联是质变：上一层真实注意力质量作为本层特征，推理时免费，ρ 0.57→0.84，驱逐损失 0.089→0.048。
- 50% KV 压缩只损失 3.9–4.8% 注意力质量（两模型）；25% 预算 ΔPPL +0.61%。
- Triton 解码内核 32k 加速 245.7×，42 层合计 1.3ms/token；预填充内核需进一步工程。
- 可部署形态：评分器作为 KV 驱逐排序器接入 vLLM/llama.cpp，无需新内核；Triton 解码内核可进推理管线。
一句话：
我们证明了注意力可以被廉价统计特征预测到“背景质量”级别，并用它构建了一条从 KV 驱逐到 Triton 稀疏内核的完整推理优化管线。
