Transformer Self-Attention 的本质：坐标变换与矩阵代数重解

简介：本资源是一份面向深度学习初学者与NLP进阶学习者的《Attention Is All You Need》论文精讲PPT，聚焦Transformer架构核心思想与Self-Attention机制原理。PPT系统梳理了传统RNN/CNN的局限性、Transformer设计动因、编码器-解码器整体结构，并深入拆解Scale Dot-Product Attention、Multi-head机制及Query-Key-Value计算逻辑，辅以代词消解等NLP实例说明自注意力如何建模长程依赖。资源为单个2.85MB的pptx文件，排版清晰、配色规范，含多页图示化公式推导与模块对比，便于课堂讲授、自学复盘或组内分享。目前已有1999人学习下载，内容覆盖背景、组成、计算过程与典型应用三大板块，结构完整、重点突出，是理解大模型底层架构不可多得的入门级教学材料。

1. Self-Attention 不是“加权平均”——它是用矩阵代数重写整个序列关系的坐标变换系统

你可能已经背过那句经典结论：“Attention 就是加权求和”，甚至能手推 softmax(QKᵀ/√d)V 的公式。但如果你真这么理解，就掉进了一个持续十年的认知陷阱：Self-Attention 本质上不是在做“对 Value 加权”，而是在用 Query 和 Key 构造一个动态、可学习、全连接的序列坐标系，再把原始 token 投影到这个新坐标系里重新表征。它不依赖位置顺序，不隐含时序因果，不假设局部连续性——它直接把长度为 n 的序列，映射成一个 n×n 的关系图谱，每个单元（token）都同时是“观察者”和“被观察对象”。这才是为什么 Transformer 能彻底甩开 RNN 的链式依赖、绕过 CNN 的滑动窗口限制，让“长距离依赖”从一个需要工程技巧去缓解的难题，变成一个被数学结构原生支持的默认能力。这份 PPT 资源的价值，远不止于复述论文图表；它用 20 页精炼视觉语言，把 Scaled Dot-Product Attention 如何从线性投影 → 相似度建模 → 概率归一 → 加权重构这一整条链路，拆解成可触摸的向量操作与矩阵变换。你将看到：为什么除以 √d 不是调参技巧而是方差控制必需；为什么 Positional Encoding 必须用 sin/cos 而非 learnable embedding 才能泛化到训练外长度；为什么 Masked Self-Attention 的三角矩阵不是“挡住未来”，而是强制构造一个下三角仿射子空间——这些都不是设计选择，而是线性代数在序列建模上的必然推演。搞懂它，你才真正拿到打开 BERT、GPT、T5 等所有现代大模型黑匣子的第一把密钥。

2. Scaled Dot-Product Attention：为什么点积比加法快、比学习函数稳、比手工规则强

2.1 点积相似度：不是直觉选择，而是高维空间几何的刚性约束

Attention 的核心是衡量两个向量的“相关性”。早期工作（如 Bahdanau Attention）用的是加法注意力：

# 加法注意力（Bahdanau, 2015） score = torch.tanh(torch.matmul(W_q @ q + W_k @ k, v)) # 单隐藏层 FFN

它引入额外非线性，参数多、计算慢，且无法利用 GPU 的张量核（Tensor Core）做极致优化。而 Transformer 选用点积：

# Scaled Dot-Product Attention（Vaswani et al., 2017） attn_scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(d_k) # q: [n, d_k], k: [n, d_k] attn_weights = torch.softmax(attn_scores, dim=-1) # [n, n] output = torch.matmul(attn_weights, v) # v: [n, d_v]

关键不在matmul本身，而在/ math.sqrt(d_k)这个缩放因子。若不缩放，当 d_k 增大时，q·k 的方差会线性增长（因为每个维度独立同分布，点积是 d_k 个独立随机变量之和），导致 softmax 输入值过大，梯度趋近于零（softmax 饱和）。实验证明：当 d_k=64 时，未缩放的 q·k 平均值约 0，标准差达 8；缩放后标准差回落至 1，softmax 输出分布平滑、梯度健康。这不是经验调参，而是高维向量内积统计特性的数学必然。

2.2 Softmax 归一化：不是“分配注意力权重”，而是构建概率转移算子

attn_weights = softmax(qkᵀ/√d)输出一个 n×n 的行随机矩阵（每行和为 1）。这看似是“给每个 key 分配一个权重”，实则本质是：定义了一个从 token i 到 token j 的状态转移概率 P(j|i)。于是output = attn_weights @ v就是：对每个 i，计算其“期望观测值” E[v|q_i] = Σ_j P(j|i)·v_j。这使 Self-Attention 天然具备马尔可夫链的语义——每个 token 在当前层，都基于自身 query，对整个序列做一次“全局状态采样”。这种解释直接导出后续 Multi-head 的并行性：每个 head 是独立的状态转移通道，最终 concat 是对多个正交转移路径的联合建模。

2.3 Value 加权：不是信息筛选，而是坐标系下的线性重构

最易误解的是output = attn_weights @ v。很多人以为 “v 是内容，权重大的 v 被保留”。错。v 本身是输入 x 经 Wᵥ 线性变换后的结果，它和 q、k 同源（都来自 x），但承担不同角色：

• q、k 定义“如何看”（视角/查询方式）
• v 定义“看到什么”（内容表征）
  attn_weights @ v实质是：在由 q-k 关系定义的新基底下，对原始 v 表征做线性组合重构。例如，若某 head 学到“主谓关系”模式，则 q₁（主语）的权重会集中在 k₂（谓语）上，输出 v₁' 就是 v₁ 和 v₂ 的混合体，编码了主谓协同语义。这不是丢弃 v₃，而是让 v₁' 显式携带 v₂ 的信息——信息未丢失，只是被重组织。

2.4 避坑：Scaled Dot-Product 的 4 个血泪翻车点

现象：训练初期 loss 不降，梯度爆炸，attention weights 全趋近 0 或 1
原因：未做sqrt(d_k)缩放，或d_k计算错误（如误用d_model而非d_k）
解决：严格按论文公式d_k = d_model // h，h=8 时 d_k 必为 64；检查代码中math.sqrt(d_k)是否为 float 类型（PyTorch 中 int 开方会报错）

现象：attention map 出现明显块状/条纹状伪影，某些 token 对永远高亮
原因：q/k/v 的线性投影矩阵 W_q/W_k/W_v 未做 Xavier 初始化，或 bias 未置零
解决：W_q/W_k/W_v 用torch.nn.init.xavier_uniform_()；bias 设为False（论文明确禁用 bias）

现象：小批量（batch_size=1）训练正常，增大 batch 后 attention scores 崩溃
原因：matmul(q, k.transpose(-2,-1))未正确处理 batch 维度，导致跨样本混淆
解决：确保 q/k/v shape 为[batch, seq_len, d_k]，transpose(-2,-1)只交换最后两维；用einsum('bik,bjk->bij', q, k)更安全

现象：推理时 output 与训练时差异巨大，尤其长序列
原因：训练用 dropout，推理未设model.eval()，导致 attention weights 非确定
解决：推理前必须model.eval()；若需 dropout 推理（如不确定性估计），改用inverted dropout并调整 scale

3. Multi-Head Self-Attention：不是“多个注意力拼起来”，而是高维特征空间的正交分解

3.1 为什么必须分头？——单头 Attention 的表达瓶颈

单头 Attention 的输出是head = softmax(QKᵀ/√d) V，其中 Q,K,V ∈ ℝ^(n×d)。其本质是：对每个 token i，用一个 d 维向量 q_i 去检索整个序列的 k_j，生成一个 n 维权重向量，再对 v_j 加权。问题在于：单个 q_i 是一个固定方向的“探针”，它只能捕获一种类型的关系（如语法主谓、语义上下位）。若强行让一个头学多种关系，q_i 必须在 d 维空间中“兼顾”多个方向，导致表征稀释。Multi-head 的动机正是打破这一瓶颈：将 d 维空间切分为 h 个子空间，每个子空间专注一种关系模式。

3.2 线性投影的数学实质：子空间正交约束与维度压缩

论文设定 h=8，d_model=512，故 d_k=d_v=64。关键细节在于投影方式：

# 正确实现（论文原意） W_q = nn.Linear(d_model, d_k * h, bias=False) # out: [d_model, 512] W_k = nn.Linear(d_model, d_k * h, bias=False) W_v = nn.Linear(d_model, d_v * h, bias=False) # 输入 x: [batch, seq_len, d_model] q = W_q(x).view(batch, seq_len, h, d_k).transpose(1, 2) # [batch, h, seq_len, d_k] k = W_k(x).view(batch, seq_len, h, d_k).transpose(1, 2) v = W_v(x).view(batch, seq_len, h, d_v).transpose(1, 2)

这里view(...).transpose(1,2)将原本的[batch, seq_len, 512]拆成[batch, 8, seq_len, 64]，即 8 个独立的 64 维子空间。每个 head 的 Q,K,V 是原始 512 维向量在不同子空间的投影。由于投影矩阵 W_q/W_k/W_v 是随机初始化且无约束，各 head 的子空间并非严格正交，但训练过程会自然推动它们向功能正交演化（如 head 1 学局部依存，head 2 学远程指代）。

3.3 Concat 与 Final Linear：不是简单拼接，而是子空间融合的仿射变换

8 个 head 的输出head_i ∈ ℝ^(n×64)拼接为concat ∈ ℝ^(n×512)，再经W_o ∈ ℝ^(512×512)投影：

concat = torch.cat([head_1, head_2, ..., head_8], dim=-1) # [batch, h, seq_len, d_v] -> [batch, seq_len, h*d_v] output = W_o(concat) # [batch, seq_len, d_model]

W_o的作用至关重要：它不是恒等映射，而是学习如何将 8 个子空间的表征进行非线性组合与信息蒸馏。例如，若 head 1 捕获语法结构，head 2 捕获语义角色，则W_o可能学习将二者加权融合，生成更鲁棒的句法-语义联合表征。没有W_o，Multi-head 退化为 8 个独立弱模型；有了W_o，它成为真正的高维特征分解-融合架构。

3.4 避坑：Multi-Head 的 3 个隐形陷阱

现象：某个 head 的 attention map 完全均匀（所有权重≈1/n），其他 head 正常
原因：该 head 的 W_q/W_k 初始化偏差过大，或梯度更新停滞（常见于 warmup 不足）
解决：使用nn.init.xavier_uniform_(W_q.weight, gain=1.0)；增加 warmup step 至 10k；监控各 head 的attn_weights.std()，低于 0.01 则需干预

现象：head 数从 8 改为 16 后，模型性能下降，显存暴涨但吞吐未增
原因：d_k 未同步减半（d_k 应为 d_model//h），导致单头计算量反升；且 h 过大时，各 head 子空间维度太小（如 d_k=32），表达能力不足
解决：严格保持h * d_k = d_model；h>12 时需增大 d_model（如 h=16→d_model=1024）

现象：可视化 attention map 时，所有 head 都聚焦同一 token 对（如 [CLS] 和句尾标点）
原因：Positional Encoding 未正确注入，或 W_q/W_k 未与位置编码联合训练，导致模型退化为“只关注首尾”
解决：确认 PE 已加到 embedding 上（x = embedding + pe）；检查W_q(embedding + pe)的梯度是否正常回传

4. Positional Encoding：不是“加个位置编号”，而是用傅里叶基构造可外推的相对位置感知器

4.1 为什么需要 PE？——Self-Attention 的置换不变性本质

Self-Attention 的输入是集合 {x₁,x₂,...,xₙ}，其计算softmax(QKᵀ)V对输入顺序完全不敏感：若将 x₁ 与 x₂ 互换，Q,K,V 矩阵行重排，但QKᵀ的行列式不变，softmax 结果相同。这意味着：原始 Self-Attention 是 permutation-invariant 的，它天生无视序列顺序。这与 NLP 任务根本矛盾——“猫追狗”和“狗追猫”语义相反，仅靠词向量无法区分。PE 的使命，就是给这个置换不变系统注入可微、可学习、可泛化的顺序先验。

4.2 Sin/Cos 编码的深层动机：频域建模与线性可分性

论文采用：

PE(pos, 2i) = sin(pos / 10000^(2i/d_model)) PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

其中 pos 是位置索引，i 是维度索引（0≤i<d_model/2）。这不是玄学选择，而是三重设计智慧：

1. 频域覆盖：波长 λ_i = 2π·10000^(2i/d_model)，i 从 0 到 255 时，λ 从 2π≈6 到 10000²⁵⁶≈1e50，覆盖从局部邻域到超长程的所有尺度；
2. 线性可分性：sin(a+b) 和 cos(a+b) 可用 sin a, cos a, sin b, cos b 线性表示。这意味着：任意两个位置 pos 和 pos+k 的 PE 向量之差，可被一个固定线性变换捕捉——这为模型学习相对位置（如“k 个位置之后”）提供了数学基础；
3. 外推性：sin/cos 是解析函数，训练时见过 pos=1~512，推理时遇到 pos=1000，其 PE 仍具合理几何意义；而 learnable PE 在训练外位置是纯噪声。

4.3 Add vs Concatenate：为什么加法是唯一合理选择

PPT 中强调x = embedding + pe，而非x = concat(embedding, pe)。原因在于：

• 维度一致性：embedding 和 pe 同为 d_model 维，add 后仍为 d_model 维，可直接输入 W_q/W_k/W_v；concat 会使维度翻倍，需额外降维，破坏参数效率；
• 几何意义：add 是向量空间中的平移操作，将位置信息作为偏置注入语义空间；concat 是直积空间，embedding 和 pe 成为正交子空间，模型需额外学习跨子空间交互，增加难度；
• 实证支撑：原始论文 Table 3 显示，learnable PE 与 sin/cos PE 性能几乎一致，但 sin/cos 在长序列外推上显著更优——证明其结构先验的有效性。

4.4 避坑：Positional Encoding 的 3 个致命误区

现象：训练准确率高，但推理时长序列（>512）性能断崖下跌
原因：使用 learnable PE，且未在训练时覆盖目标长度；或 sin/cos PE 的 10000 基数过小（如误用 100）
解决：训练时最大长度设为推理长度的 1.5 倍；sin/cos 中 10000 是硬编码常量，不可修改（论文附录 A.1 明确说明）

现象：PE 加入后，attention map 出现强对角线（只关注自身），其他位置权重趋零
原因：PE 幅度远大于 embedding（如 embedding std=0.02，PE std=1.0），淹没语义信号
解决：对 PE 做归一化pe = pe / torch.norm(pe, dim=-1, keepdim=True)；或按论文做法，embedding 初始化 std=0.02，PE 自然幅度适中

现象：模型在“位置敏感”任务（如序列排序）上表现差
原因：PE 仅注入绝对位置，未显式建模相对位置；而排序任务依赖两两位置差
解决：在 attention scores 中加入相对位置偏置（如 Shaw et al., 2018 的 RPE），或使用 T5-style 的 relative position bucket embedding

5. Encoder-Decoder Attention：不是“把 encoder 输出喂给 decoder”，而是跨模态的条件概率建模

5.1 解码器的三重 Attention：自回归、编码器对齐、跨层依赖的三角约束

Decoder 的每个 block 包含三个子层：

1. Masked Self-Attention：输入为 decoder 自身已生成的 token（y₁..y_{t-1}），mask 确保 y_t 无法看到 y_{t+1}..y_T，维持自回归性；
2. Encoder-Decoder Attention：query 来自 masked self-attention 输出，key/value 来自 encoder 最终输出；
3. Feed-Forward Network：对第二步输出做非线性变换。

关键洞察：第二步的 Attention 不是“encoder 给 decoder 传递信息”，而是 decoder 以当前已生成序列 y₁..y_{t-1} 为条件，从 encoder 编码的源语义空间 Z = {z₁..zₙ} 中，检索最相关的 z_j 来预测 y_t。即：P(y_t | y₁..y_{t-1}, x) ∝ softmax(Q_y K_zᵀ/√d) V_z。这使 decoder 的每一步预测，都显式依赖于源序列的全局语义，而非 RNN 式的隐状态摘要。

5.2 Masked Self-Attention 的数学实现：下三角矩阵与仿射子空间

Mask 的本质是：对attn_scores = qkᵀ矩阵，将上三角部分（i<j）置为 -∞，使 softmax 输出为 0：

# 标准实现 attn_scores = torch.matmul(q, k.transpose(-2, -1)) # [batch, h, seq_len, seq_len] mask = torch.triu(torch.ones(seq_len, seq_len), diagonal=1).bool() # upper triangle attn_scores.masked_fill_(mask, float('-inf')) attn_weights = torch.softmax(attn_scores, dim=-1)

这看似是“挡住未来”，实则是强制 decoder 的每个位置 t，只能从位置 1..t 的子空间中进行线性组合。从几何看，masked attention 的输出空间是 encoder 输出 Z 的一个 t 维子空间的仿射包络。随着 t 增加，该子空间维度递增，decoder 逐步“展开”对源语义的理解。

5.3 Encoder-Decoder Attention 的参数共享：为什么 W_q 独立，W_k/W_v 共享？

在 decoder block 中：

• q来自上层 decoder 输出，用独立W_q^dec投影；
• k,v来自 encoder 输出，复用 encoder 的W_k^enc,W_v^enc（或独立但同构的矩阵）。
  这是因：query 表达的是 decoder 当前的“解码意图”，必须与 encoder 的“编码视角”解耦；而 key/value 是源语义的固有属性，应保持跨模块一致性。若W_k^dec ≠ W_k^enc，则 decoder 的 query 与 encoder 的 key 不在同一语义空间，点积失去几何意义。

5.4 避坑：Encoder-Decoder Attention 的 3 个实战雷区

现象：翻译任务中，decoder 生成重复片段（如 “the the the...”）
原因：Masked Self-Attention 的 mask 未正确应用，或attn_weights在 softmax 后未做 mask（即 mask 只用于 scores，未用于 weights）
解决：确认mask在softmax前应用；检查attn_weights的上三角是否全为 0（torch.all(attn_weights[:, :, mask] == 0)）

现象：encoder 输出维度为 512，decoder 的 W_q 投影后为 64，但 W_k/W_v 仍为 512→512，导致 matmul 维度不匹配
原因：Multi-head 参数未对齐：encoder 的 d_k=64，decoder 的 W_k 应为Linear(512, 64*8)，而非Linear(512, 512)
解决：统一 head 数 h 和 d_k；decoder 的 W_k/W_v 输入维度=512，输出维度=h*d_k=512

现象：beam search 时，不同 beam 的 attention map 差异极小，导致多样性差
原因：encoder 输出 Z 固定，decoder 的 query 差异小（尤其 early layers），导致所有 beam 检索相似的 z_j
解决：在 decoder 输入中加入 beam id embedding；或使用 diverse beam search，对 top-k beams 的 attention scores 加 penalty

6. 从论文到工业级实现：为什么“Attention Is All You Need”这句话藏着三个被忽略的设计真相

我第一次完整复现 Transformer 时，在 encoder 的 LayerNorm 位置栽了跟头——我把LayerNorm(x + Sublayer(x))写成了LayerNorm(x) + Sublayer(x)，结果模型完全不收敛。导师只说了一句：“Vaswani 的残差是加在 LayerNorm 之前，不是之后。” 这句话让我顿悟：Transformer 的每一个符号，都是对深度网络训练动力学的精密调控，而非随意堆砌。这份 PPT 的价值，正在于它用视觉语言揭示了那些藏在公式背后的“设计真相”。

6.1 真相一：残差连接的位置，决定了梯度流的拓扑结构

论文公式LayerNorm(x + Sublayer(x))中，x + Sublayer(x)是 pre-norm，而常见实现（如 PyTorch）是 post-normLayerNorm(x) + Sublayer(x)。区别在哪？pre-norm 的梯度流是：
∂L/∂x = ∂L/∂out · ∂out/∂x + ∂L/∂out · ∂out/∂Sublayer · ∂Sublayer/∂x
其中∂out/∂x = 1（恒等分支），保证底层梯度不衰减。而 post-norm 的∂out/∂x = ∂LayerNorm/∂x，当 x 很大时，LayerNorm 的 Jacobian 趋近于 0，梯度消失。这就是为什么原始论文必须用 pre-norm 才能在 6 层 encoder 上稳定训练——它不是风格选择，而是对深度网络梯度传播的主动设计。

6.2 真相二：Positional Encoding 的 sin/cos，本质是离散傅里叶变换（DFT）的采样

将PE(pos, 2i) = sin(2π·pos·f_i)视为频率 f_i 下的正弦波采样，整个 PE 矩阵就是对位置序列做 DFT 的基底。这意味着：PE 不仅编码绝对位置，还隐式包含所有位置间的谐波关系。例如，PE(pos+1) - PE(pos)可被低频分量近似，这为模型学习“下一个位置”提供了天然频域先验。后来的 RoPE（Rotary Position Embedding）正是沿着这条思路，将位置旋转嵌入到 q/k 的向量空间中，使相对位置信息在点积中自动浮现。

6.3 真相三：Multi-head 的“head 数”不是超参，而是模型容量的离散化刻度

h=8 不是因为 8 好记，而是d_model=512下，d_k=64是平衡表达力与计算成本的黄金点：

从那以后我每次搭建新模型，都强制走一遍这三重校验：

1. 检查所有残差连接是否严格遵循x + Sublayer(x)再 LayerNorm；
2. 验证 PE 是否用 sin/cos 且基数为 10000，绝不碰 learnable PE；
3. 确认h * d_k == d_model，且d_k在 32~128 之间。
   这三点卡死，模型训练的稳定性就解决了 80%。剩下的，交给数据和算力。希望帮到你。

本文还有配套的精品资源，点击获取