ChatGPT 的底层,到底是怎么“读懂“一句话的?一篇讲透 Transformer

先做一道小学英语题。

"The keys to the cabinet near the door ____"(钥匙放在门边的柜子里),空格里该填 is 还是 are?

答案是 are。主语是 keys(复数),哪怕离空格最近的 cabinet 和 door 都是单数。

人类一眼就能看出来,但对 AI 来说,这是个经典陷阱。离得近的词不一定相关,真正相关的词可能隔了好几个词。这道题,正是 Transformer 要解决的核心问题。

一、老办法的瓶颈:信息传递太"绕"

在 Transformer 出现之前,处理文字的主流方案有两种。

RNN(循环神经网络) 像传话游戏。第 1 个词的信息要传给第 100 个词,必须经过 99 次接力,每一棒都可能丢信息、改信息。训练时反向传播的梯度也要沿着这条长链往回走,要么越传越小(梯度消失),要么越传越大(梯度爆炸)。LSTM、GRU 加了"门控"来缓解,但接力的本质没变。