🚀 Transformer 21问全解析
目录
- 🚀 Transformer 21问全解析
- 1. Transformer为何使用多头注意力机制？（为什么不用一个头）
- 2. Transformer为什么Q和K使用不同的权重矩阵生成？为何不能用同一个值点乘？
- 3. Transformer计算attention时为何选点乘而不是加法？两者复杂度和效果有什么区别？
- 4. 为什么在softmax前要对attention进行scaled？（为什么除以d k \sqrt{d_k}dk）
- 5. 计算attention score时如何对padding做mask操作？
- 6. 为什么多头注意力时需要对每个head进行降维？
- 7. 讲一下Transformer的Encoder模块？
- 8. 为何输入词向量后要乘以embedding size \sqrt{\text{embedding size}}embedding size？
- 9. 简单介绍Transformer的位置编码？
- 10. 了解哪些关于位置编码的技术？
- 11. 讲一下Transformer中的残差结构以及意义
- 12. 为什么Transformer块使用LayerNorm而不是BatchNorm？
- 13. 讲一下BatchNorm技术及其优缺点？
- 14. 描述Transformer中的前馈神经网络？使用了什么激活函数？相关优缺点？
- 15. Encoder端和Decoder端是如何进行交互的？
- 16. Transformer的并行化体现在哪个地方？Decoder端可以做并行化吗？
- 17. 描述WordPiece Model和Byte Pair Encoding（BPE）
- 18. Dropout是如何设定的？位置在哪里？测试时需要注意什么？
- 19. Transformer训练时的学习率是如何设定的？
- 20. Bert的mask为何不学习Transformer在attention处屏蔽score的技巧？
- 21. Transformer中的前馈神经网络有什么作用？
1. Transformer为何使用多头注意力机制？（为什么不用一个头）
🌰生活化例子：
项目复盘会上，你需要同时关注「用户痛点」「技术方案」「竞品动态」三个维度。如果只用单头注意力，就像只盯着产品经理发言，会错过技术和运营的关键信息，对项目的理解必然片面。
多头注意力就像同时开3个听觉频道，每个频道聚焦一个维度，最后整合所有频道的信息，让你对会议内容的理解更全面。
💡原理解析：
多头注意力将输入向量映射到多个子空间（比如8头），每个头学习不同的关联模式（局部短语、全局逻辑、跨句关联等），最后拼接所有头的输出。相比单头，它能捕捉更丰富的语义关联，提升模型的理解能力。
2. Transformer为什么Q和K使用不同的权重矩阵生成？为何不能用同一个值点乘？
🌰生活化例子：
你在会上问「用户流失的核心原因是什么？」（这是你的Query），需要从大家的发言（Key）里找答案。如果Q和K用同一个向量，就像“自己提问自己回答”，只能从自己的认知里找答案，没法从他人的发言中获取新信息，容易陷入信息茧房。
💡原理解析：
Q（查询向量）负责“发起提问”，K（键向量）负责“匹配信息”，V（值向量）负责“输出内容”。三者用不同权重矩阵生成，让模型能更灵活地匹配和提取外部信息，避免单一向量的局限性。如果Q=K，点乘结果会过度依赖自身特征，丧失对外部信息的
)
)
)