多头让模型拿到多套独立的"信息路由规则"，单头无论做多宽只有一套。这句话经得起推敲。我想把它往下拆一层：一套和八套的差距有多大，"单头会平均化"这句话里的平均，代价落在什么量级。
我用一个最小合成任务把"两种路由冲突"摆到明面上，把代价量了出来；之后又去字符级语言模型和公开文献里看了看这个机制在真实任务里的分寸。有个结果比我预想的有意思：单头比"只能平均"要顽强，它会钻空子找出路；但它钻出来的路，和正当的分工，性质很不一样。
先把机制摆清楚。单头注意力的计算，把投影细节收进 v 之后，是
y_i = Σ_j a_ij · v_j
其中 a_i 是第 i 行 softmax 的输出，Σ_j a_ij = 1。这里值得盯住的是 a_ij 的类型，它是一个标量。位置 j 的 value 向量不论多少维，都只能整体乘上同一个系数。query i 手里只有一张"位置权重表"，这张表被输出的所有维度共用。
于是就有了约束。如果你希望输出的第 1 维主要从前一个位置取信息、第 2 维主要从句首取信息，这两件事需要两张不同的位置表。单头只有一张，能给出的只有一组混合比例。原论文在 3.2.2 节里有一句很克制的话，“With a single attention head, averaging inhibits this”，averaging 指的就是这个。这句话后来被引用的次数以万计，但论文里关于它的证据只有一个终点数字：单头比最好的设置低 0.9 个 BLEU。
上面这张图是原论文 Table 3 第 (A) 行的重绘。总维度固定 512，改头数，head_dim = 512/h。h=1 时 24.9，h=4 时 25.5，h=8 和 h=16 都到 25.8，h=32 掉回 25.4。所有设置的计算量是固定的。单头差的那 0.9 分就是从这张表里来的。
多头的改法简单到配不上它的名声：把 d_model 维切成 h 份，每一份自己过一遍 softmax。参数量不变（W_Q 的形状始终是 d_model × d_model，分头只是把它 reshape 成 h 份），计算量也不变，变的只是每个 query 手里有几张表。
# 多头和单头的差别，全在 view/transpose 这两步q=self.Wq(x).view(B,T,h,dh).transpose(1,2)# B, h, T, dhk=self.Wk(x).view(B,T,h,dh
