《Attention Is All You Need》背景

2017 年谷歌发表论文《Attention Is All You Need》，当时并没有溅出一点水花，后来统治llm世界也是一段魔幻过程，我采集了下它的背后故事。

1. 差点没发出去

《Attention Is All You Need》的作者之一 Jakob Uszkoreit 后来在采访里说过：当时他们觉得“这想法太简单了，可能审稿人会拒”。

因为那会儿学界主流是 LSTM、GRU，大家都在循环网络上加各种门控、记忆单元。你突然说“不要循环了，全用注意力”，听起来像民科。

而且更离谱的是：这篇论文投的是 ICLR 2017，结果被拒了。

后来改投 NIPS 2017（现在叫 NeurIPS），才被接收。

所以 Transformer 一开始是“被顶级会议拒绝过的架构”。

2. 作者团队内部也有分歧

论文 8 个作者，不是所有人都相信这个方向能成。

有人觉得“去掉 RNN 太激进”。

有人觉得“自注意力复杂度 O(n²)，根本跑不动长序列”。

有人坚持“必须保留某种循环结构”。

最后是靠 Vaswani 和 Shazeer 几个人硬推，加上 Google 内部有大量 TPU 算力，才把实验跑通。

换句话说：Transformer 不是“大家一致看好的天才设计”，而是内部吵出来的产物。

3. 名字也起得很“临时”

论文标题《Attention Is All You Need》其实是作者之一 Llion Jones 随口说的，灵感来自披头士的歌《All You Need Is Love》。

当时大家觉得这名字太轻浮，但也没想出更好的，就用了。

结果这个名字成了深度学习史上最出名的论文标题之一。

4. 更狠的：Transformer 当时只是“翻译模型”

2017 年那篇论文，实验只在英德、英法翻译任务上做了。没有做语言模型没有做预训练没有做 GPT、BERT 那种范式。它当时的目标只是：证明不用 RNN/CNN，也能在机器翻译上达到 SOTA。

真正让它变成“大模型底座”的，是 2018 年之后：
BERT 用 encoder 做预训练，GPT 用 decoder 做自回归生成Scaling Law 出来后，大家发现“堆得越大越强”。
所以 Transformer 不是“生来就是大模型架构”，它是被后来的 GPT 和 BERT 重新定义、重新抬上神坛的。

5. 最讽刺的一点

2017 年论文里，作者自己写了：“我们相信自注意力可以用于图像、音频等更多领域。”
但当时没人信。
结果 2020 年 Vision Transformer（ViT）出来，图像领域也沦陷了。2021 年之后，连蛋白质结构预测（AlphaFold）、语音、推荐系统，全被 Transformer 渗透。

6. 小结

Transformer 的诞生不是“天才灵感”，而是：
一个被顶级会议拒稿、内部意见分裂、名字随口起的翻译模型，靠 TPU 算力硬跑通了实验，然后被后来的 GPT/BERT 捡起来，喂数据、堆规模，最终统治了整个llm领域。