深度学习中的注意力机制笔记

注意力机制是仿生学成果

参考《动手学深度学习Pytorch版》的介绍，灵长类动物视觉系统有大量的感官输入，远超大脑神经系统的处理能力，“只关注一小部分信息的能力对进化更有意义，”

生物学中的注意力

总结为两类，自主性提示与非自主性提示，红色或彩色更能吸引人即非自主性提示的例子，喝杯咖啡想找书看，对书的关注即自主性提示。
我认为两类是辨证对立的，如长期的非自主性提示影响自主性提示，近朱者赤，家境同样富裕的不同人家的子弟，有的选择胡作非为，有的则为人善良。另一方面，自主性提示决定非自主性提示的影响，如亲兄弟面对同样的环境，可能作出截然相反的抉择。

人工智能神经网络中的注意力

Query，查询即自主性提示。
Value，值即感官输入。
Key，键即非自主提示。
Bahdanau注意力模型，把上一个时间步的解码器隐状态视为查询，即自主性提示；把所有时间步的编码器隐状态同时视为键和值，即输入和非自主提示。