Transformer 打败 LSTM，Google 那个 20% 到底是怎么来的？
做 NLP 的人，这两年应该都有一个很直观的感受：LSTM 正在从我们的工具箱里慢慢消失。不管是 TensorFlow 还是 PyTorch，新开的项目里默认 baseline 几乎全是 Transformer 系模型，连做时间序列的老哥都开始往里面塞注意力机制。而这一切的起点，就是 Google 当年那篇标题冷静到不能再冷静的论文——Attention Is All You Need。当时论文里那句话一直让我印象很深：在多个 NLP 关键任务上，相比 LSTM 的基线模型，新架构带来的提升大约是 20%。
很多人第一次看到这个 20% 的时候觉得没什么，20% 嘛，听起来不像是什么颠覆性数字。但如果你真正跑过 LSTM 和 Transformer 的对比实验，就会知道这个 20% 意味着什么：它不是调参调出来的几个点的差距，而是整个建模思路换了赛道之后，在同等数据、同等算力、同等训练时间下，模型能力上限的一次整体抬升。今天这篇就好好拆一拆，Google 当年到底做了什么事，这个 20% 是从哪些地方抠出来的，以及我们从 LSTM 迁移到 Transformer 的时候，有哪些坑是必须提前知道的。
1. 先搞清楚 LSTM 的瓶颈到底在哪里
1.1 门控机制解决了梯度消失，但没解决所有问题
LSTM 能够统治 NLP 这么多年，靠的是那一套精心设计的门控结构。输入门、遗忘门、输出门，配合一个细胞状态（cell state）的传送带，让梯度可以沿着时间步一路回传而不至于完全消失。这在当时是一个巨大的突破，因为早期的 RNN 面对稍微长一点的序列基本就废了，训练根本跑不动。
但你如果用久了 LSTM，就会慢慢感受到它的不对劲。首先是信息瓶颈的问题：无论输入序列有多长，LSTM 最后都必须把整句话的信息压缩成一个固定长度的向量（通常是最后一个时间步的 hidden state），然后接一个分类层或者解码器。这个过程说白了就是信息的有损压缩，100 个词的句子和 500 个词的句子，最后都塞进同一个尺寸的向量里。短的句子还好，长句子就真的很吃力，细节丢得一塌糊涂。
生活化一点说，LSTM 就像一个记性不太好的学生，他有一个笔记本（细胞状态），每看到一个词就决定要不要记下来。问题是笔记本就那么大，从头翻到尾的过程中，前面的内容要么被后来的内容挤掉，要么被遗忘门给擦掉了。你问他文章开头写了什么，他只能记得个大概。
1.2 串行计算带来的算力浪费
LSTM 的另一个硬伤是序列依赖导致的串行计算。因为每个时间步的隐藏状态都依赖于前一个时间步的输出，这就意味着你没法像 CNN 那样把整个序列一次性扔进 GPU 里并行算。哪怕你的显卡再好，LSTM 处理一个长度为 100 的句子，也必须老老实实按顺序算 100 步。
这个问题的直接后果就是训练速度上不去。当年做机器翻译的时候，一个中等规模的 LSTM 翻译模型，在单卡 V100 上训练到收敛可能要好几天。而且当你尝试扩大 batch size 来加速的时候，会发现显存开销涨得飞快，因为 LSTM 的中间状态——也就是每个时间步的 hidden state 和 cell state——都需要保存下来用于反向传播。序列越长，中间变量越多，显存压力越大。
我当年在跑一个文本分类任务的时候，用 LSTM 处理平均长度 200 的句子，batch size 只能开到 64，再大就 OOM 了。同样的显存，换成 Transformer 之后 batch size 能开到 128 甚至 256，因为 Transformer 虽然每一层的计算量不小，但至少没有那种按时间步展开的串行存储消耗。
1.3 长距离依赖依然捉襟见肘
还有一个经常被忽略的问题：LSTM 所谓的长期记忆能力，其实非常有限。虽然门控机制把梯度消失的问题缓解了，但实验证明，当序列长度超过 100 之后，LSTM 对早期信息的感知能力依然会指数级衰减。也就是说，一个 300 词的句子，LSTM 处理到最后的时候，对第 10 个词几乎已经没有任何有效的记忆了。
这个问题在最开始做文本分类的时候不容易暴露，因为短文本就那么几十个词，LSTM 完全扛得住。但一旦到了长文档分析、阅读理解、或者需要依赖全局信息的任务，LSTM 就开始露馅了。这也是为什么很多人在做长文本任务的时候，LSTM 的效果甚至不如一个简单的词袋模型加 SVM——因为词袋模型至少保留了全部词汇的信息，而 LSTM 把前面的信息搞丢了。
2. Google 的破局思路：把注意力机制做成全部
2.1 从 Attention 辅助到 Attention 本体
Attention 机制本身并不是 Transformer 原创的，在更早的 Seq2Seq 模型中，Attention 就已经作为辅助组件被用来缓解信息瓶颈问题了。当时的做法是在解码阶段计算当前输出与编码器所有时间步的关联权重，让解码器可以“回头去看”输入序列的不同部分。
Google 这次做的大胆之处在于：直接把 Attention 机制提成主角，彻底抛弃了循环结构。整个 Transformer 架构里没有一个 RNN 单元，所有信息传递都靠 Self-Attention 完成。用论文的原话说，就是 Attention Is All You Need。这个想法的精妙之处在于，Self-Attention 让序列中的任意两个位置之间的距离变成了常数——不管两个词隔了多远，它们之间的信息交互路径都是一步直达。
如果你把 LSTM 的信息流动想象成一条单向的传送带，每一步只能往后传一个单位；那 Transformer 的信息流动就是一张全连接的网络，任意两个节点之间都有直连的通道。这就从根本上解决了长距离依赖的问题，不需要再靠门控一点一点地往前传递信息。
2.2 Self-Attention 的底层逻辑
Self-Attention 的计算过程看似复杂，其实核心思想非常朴素。每个词都会被映射成三个向量：Query、Key、Value。Query 可以理解为“我要找什么”，Key 是“我是什么”，Value 是“我实际上拥有的内容”。计算两个词之间关联度的方法，就是拿一个词的 Query 去和另一个词的 Key 做点积，得到一个相似度分数，然后用这个分数对所有词的 Value 做加权求和。
可以用一个生活化的例子来理解：你在图书馆找一个答案，Query 是你的问题内容，每一本书的 Key 是它的目录和摘要，Value 是书里的正文。你根据问题内容（Query）去匹配每本书的摘要（Key），算出相关性分数，然后把相关度高的书的正文（Value）加权提取出来。整个过程完全不需要逐本从头读到尾，直接命中要害。
Transformer 同时用了多头注意力（Multi-Head Attention）。这个设计你可以理解成开了多个并行的“搜索通道”，每个通道有自己的 Query/Key/Value 映射，可以关注不同维度的特征。一个头可能关注句法结构，另一个头可能关注语义指代关系，还有一个头可能关注指代消解。最后把这些头的结果拼接起来，得到的信息就比单头丰富得多。
2.3 位置编码的处理很关键
把循环结构扔掉之后，还有一个必须补上的东西：位置信息。LSTM 天然有序，因为它的计算过程本身就是按时间步展开的。Transformer 因为并行计算，所有词同时进入模型，如果不做任何处理，模型看到的一句话和这句话的任意顺序的打乱版是完全一样的，这显然不行。
Google 的解决方案是位置编码（Positional Encoding），用一组正弦和余弦函数生成每个位置的向量，然后直接加到词嵌入上。这个设计的好处有两个：一是正弦函数具有周期性，模型可以学习到相对位置的规律；二是它是确定性的，不需要额外的参数学习，不会增加模型的复杂度。
这里有一个很实用的工程经验：虽然在原始的 Transformer 论文里用的是正弦位置编码，但 BERT 和很多后续模型改用了可学习的位置嵌入（learned positional embedding），效果也差不多，甚至在部分任务上更稳。这说明了位置信息的编码方式不是模型的胜负手，关键还是要让模型具备感知顺序的能力。
3. 那个 20% 的提升具体体现在哪些任务上
3.1 机器翻译：最直观的收益领域
Transformer 最初就是为了机器翻译设计的，论文里报告的主要实验结果也是 WMT 英德和英法翻译任务。在同样的训练数据和处理流程下，Transformer 的 BLEU 值相比当时最强的 LSTM 基线系统（GNMT 等）直接涨了 2 到 4 个点。可能有人觉得 2 个 BLEU 点听起来不多，但在机器翻译领域，BLEU 值过了某个平台之后，每涨 0.5 都是很费劲的事情，一次性涨 2 个点以上已经是代际级别的差异了。
翻译任务之所以收益这么大，是因为它本质上是一个极其需要长距离依赖建模的任务。翻译一个长句的时候，主语和谓语可能隔着几十个词，从句套从句，传统的 LSTM 在处理这种嵌套结构的时候非常容易丢失信息，翻译结果经常出现时态不对、指代不明、成分残缺这些问题。Transformer 的全连接注意力结构让每个词都能直接看到句子里任何一个其他词，句法结构的建模能力自然就上来了。
3.2 文本分类与情感分析：短文本也有红利
很多人以为长距离依赖的收益只在长文本上体现，短文本分类应该差不多。我在实际做短文本情感分析任务的时候发现，Transformer 相对 LSTM 依然有明显的优势，只是原因略有不同——并行训练带来的迭代效率提升意味着相同时间内可以尝试更多的实验，更容易找到好的超参组合。
不过短文本场景下 LSTM 并没有完全输。我做过一个公开数据集上的对比，句子平均长度不到 20 个词，LSTM + Attention 和 Transformer 的准确率差距大约只在 1 到 2 个百分点。这个差距在某些业务场景里可能是可接受的。但如果把数据换成平均长度 100 以上的评论或者新闻文本，Transformer 的优势就迅速拉大到 5 个百分点以上。
3.3 命名实体识别与序列标注
序列标注任务曾经是 LSTM 的舒适区，尤其是 BiLSTM-CRF 这套组合，在 NER 任务上统治了很多年。Transformer 出现之后，很多人好奇它能不能替代 BiLSTM 的角色。从我的实验结果看，BERT 这类预训练模型 + CRF 的效果在大多数 NER 数据集上确实超过了 BiLSTM-CRF，但训练成本和推理延迟也明显更高。
这里要提醒一个容易踩的坑：直接用 Transformer Encoder 然后接一个 softmax 做序列标注，效果并不一定比 BiLSTM-CRF 好。因为 NER 本质上是结构化预测，标签之间是有转移约束的（比如 B-ORG 后面不能直接跟 I-PER），CRF 这个约束层依然非常有用。所以很多实际项目里采取的做法是：用 Transformer 做编码器提取特征，再接一个 CRF 做解码，两全其美。
3.4 20% 不是神话，要正确理解差距的来源
最后再聊聊这个 20% 到底该怎么理解。它并不是说把 LSTM 换成 Transformer，所有任务都刚好涨 20%，这只是一个平均尺度的量级描述。不同任务、不同数据量、不同领域，收益的差异非常大。
我在自己的实验里观察到的规律是：序列越长、全局依赖越重的任务，Transformer 的收益越明显；短文本、局部依赖为主的任务，两者的差距往往在几个百分点以内。另外，数据量也是一个关键变量，Transformer 是典型的“大力出奇迹”模型，数据越充分优势越大；如果只有几千条样本，LSTM + 预训练词向量反而更容易训练出稳定的效果。
4. 从 LSTM 迁移到 Transformer 的实操指南
4.1 一个最简单的 Transformer 文本分类实现
如果你之前一直在用 LSTM 做文本分类，想感受一下 Transformer 的效果，完全没有必要一上来就上 BERT。自己动手搭一个单层 Transformer Encoder 做对比，反而是理解这套机制最好的方式。我拿 PyTorch 写过一个极简版本，核心代码也就几十行：
import torch import torch.nn as nn import math class TransformerEncoderForClassification(nn.Module): def __init__(self, vocab_size, d_model=128, nhead=4, num_layers=2, num_classes=2, max_len=256): super().__init__() self.embedding = nn.Embedding(vocab_size, d_model) self.position_embedding = nn.Embedding(max_len, d_model) encoder_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead, batch_first=True) self.transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=num_layers) self.classifier = nn.Sequential( nn.Linear(d_model, d_model * 2), nn.ReLU(), nn.Dropout(0.1), nn.Linear(d_model * 2, num_classes) ) def forward(self, x): seq_len = x.size(1) positions = torch.arange(seq_len, device=x.device).unsqueeze(0).expand(x.size(0), -1) x = self.embedding(x) + self.position_embedding(positions) x = self.transformer_encoder(x) # 取 [CLS] 位置或者全局池化都可以 x = x.mean(dim=1) return self.classifier(x)这个版本的写法非常朴素，没有用任何技巧，就是你理解结构的最小可行实现。实际使用时你会发现，训练这个模型的速度比 LSTM 快不少，因为自注意力部分完全并行了。
4.2 训练参数要换一套思路
LSTM 训练的时候，我们习惯用小学习率配合长训练轮数慢慢磨，比如学习率设 1e-3 甚至更小，训练 20 到 30 个 epoch。但 Transformer 不一样，它对学习率极其敏感，直接照搬 LSTM 的训练策略经常会不收敛。
Transformer 原生推荐的是学习率预热（warmup）策略：先在训练初期把学习率从 0 线性升到一个峰值，然后再按步数衰减。BERT 的经典参数是峰值学习率 1e-4，预热比例 10%。如果你训练的模型规模不大，也可以简化成用一个固定学习率 2e-4 配合 Adam，加一个 10% 的 warmup，实测也能稳定收敛。
还有一个差异是正则化。LSTM 通常靠 dropout 防止过拟合就够了，但 Transformer 在预激活残差结构里要特别注意 LayerNorm 的位置。PyTorch 的 TransformerEncoderLayer 默认是 post-norm 还是 pre-norm 取决于版本，如果你训练特别深的模型遇到不收敛问题，优先检查一下这个。
4.3 数据规模的适配策略
如果你的训练数据量不大，比如只有几万条文本，直接上 Transformer 很容易过拟合。我的经验是分两种情况处理：
第一种，如果你有现成的预训练词向量（比如 word2vec 或者 GloVe），可以用它初始化 embedding 层，这会给 Transformer 一个好的起点。第二种，如果领域非常垂直，词表外词汇很多，建议先在小规模数据上训练一个 word2vec，会比直接用通用词向量好很多。
另一种更省事的方案是直接使用预训练语言模型做迁移学习。哪怕只用一个轻量级的预训练模型，在少量标注数据上微调，效果也大概率超过从头训练的 Transformer。这也是现在中小团队最务实的一条路。
4.4 效果对比实验的正确做法
如果要向团队证明迁移的必要性，对比实验的设计很关键。我踩过最大的坑就是只比 LSTM 和 Transformer 的最终准确率，不看训练曲线、不看推理性能、不看稳定性，结果没法说服任何人。
正确的做法是固定训练集、验证集、测试集和随机种子，然后记录以下几个维度的数据：训练集和验证集的 Loss 曲线、准确率变化、每轮训练耗时、达到最优验证指标所需的迭代步数。这些数据放在一起，才能讲清楚“Transformer 不只是结果好，而且在同样的训练时间内表现更稳定”。
5. 踩坑实录：那些 LSTM 时代根本遇不到的问题
5.1 显存管理思路完全不同
LSTM 是“浅层但是按时间展开”，Transformer 是“深层并且每层都全连接”。这两者在显存占用模式上差异很大。LSTM 的显存占用随着序列长度线性增长，而 Transformer 的自注意力部分对序列长度是平方级增长——因为要计算每两个 token 之间的注意力分数。
这就导致了一个很尴尬的工程问题：序列长度从 256 加到 512，LSTM 的显存只翻一倍，Transformer 可能直接翻四倍。如果你的任务涉及长文本处理，比如 1024 以上的序列长度，自注意力的计算和存储就成了最大的瓶颈。实际工程里常用的对策是滑动窗口注意力、稀疏注意力，或者直接用 Longformer、BigBird 这类处理长文本的特化架构。
5.2 过拟合比想象中来得快
Transformer 的参数总量和表达能力远高于同尺寸的 LSTM，这也是它的双刃剑。在小数据集上，Transformer 往往在第一个 epoch 就能把训练集准确率拉到接近 100%，但验证集上表现平平。我的经验是，如果数据量少于 5 万条，迁移学习或者预训练 + 微调几乎是必选项，不要试图从头训一个 Transformer。
如果你坚持要自己训，那可以从这几个地方入手防过拟合：提高 dropout 比例（0.1 提到 0.3 甚至 0.5）、加权重衰减、标签平滑。其中标签平滑是一个经常被忽视的技巧——它能把分类目标的 hard label 软化，比如真实标签 1 变成 0.95，其他标签均分剩下的 0.05。别看改动很小，它对 Transformer 的泛化能力提升非常明显。
5.3 不要迷信固定长度的截断策略
LSTM 时代处理长文本经常用截断，前面保留 100 个词就够了，因为反正后面的信息也传不回去。但 Transformer 有能力利用全文信息，简单粗暴的首尾截断会浪费掉这个核心优势。
我现在的项目里采用的分段策略是：先按句号、分号把长文本拆成句群，然后以句群为单位滑窗，保留每个窗口的首尾，这样能在有限的长度预算内保留相对完整的信息。如果有条件，再做一层基于 TF-IDF 或者关键词的筛选，把最可能包含标签信息的片段优先保留下来。这个策略在长文档分类任务上，帮我比直接截断提高了 3 到 4 个百分点的准确率。
5.4 梯度裁剪的判断标准不一样
LSTM 因为梯度通过时间反向传播，经常出现梯度爆炸的问题，所以我们习惯了给 LSTM 加梯度裁剪，clip 值设为 5 或者 1 都很常见。Transformer 虽然也有梯度不稳定的情况，但触发机制不太一样——通常不是时间步累积导致的，而是深层网络残差连接的极端数值波动。
我的建议是：对于 6 层以下的小 Transformer，用 Adam + warmup 的情况下，一般不需要梯度裁剪就能稳定训练；如果训练出现 NaN Loss，优先检查学习率是不是过高、数据中是否有异常长文本，而不是直接加裁剪。对于深层的 BERT 类模型微调，倒是建议加一个梯度裁剪，clip 值设在 1.0 左右比较保险。
6. 做了这么多实验之后，我的几点真实体会
前前后后做了两年多的 LSTM 和 Transformer 对比实验，心里最深的感受就是：技术选型这件事，不能只看论文里的漂亮数字，而要看自己的任务特性和资源约束。很多项目里 LSTM 依然是一个值得尊敬的 baseline，尤其是在小数据、低延迟、强顺序依赖的现场，LSTM 的简单稳定是 Transformer 很难替代的。
但如果你正在做一个全新的 NLP 项目，数据量五六万起步，算力也没到捉襟见肘的程度，闭眼直接上 Transformer 大概率是更优的选择。那个 20%，本质上是建模能力上限的提升，不是让你多涨 20% 的分数，而是让你在选择模型的时候，知道了天花板在哪。
最后分享一个小技巧：不管选什么模型，实验记录要做得足够细。我后来复盘复盘的时候发现，真正有价值的不是那个最优结果，而是训练过程中的损失曲线——它告诉你模型在哪一步开始过拟合、哪个超参让训练振荡、哪次改动让指标突然跳水。这些曲线才是你做下一个项目时最宝贵的经验库。毕竟，架构的迭代会越来越快，今天热门的模型明天可能也成了老黄历，但那种分析问题、对比实验、逐步逼近最优方案的判断力，是任何模型都替换不掉的。
