用Transformer搭建中英互译系统：核心原理与工程实践

1. 项目概述与设计思路

1.1 为什么文本翻译选 Transformer 而不是 LSTM

前阵子我在本机搭了一套中英文本翻译演示系统，跑通之后最大的感触是：如果放在几年前，拿循环神经网络做同一个任务，光是把代码调成能并行训练这一步，就能磨掉我大半天的耐心。现在用 Transformer 作为序列到序列翻译模型的骨干，整条链路从数据清洗到端到端推理，逻辑清晰太多了。

翻译本质是一个序列到序列问题：输入是源语言的一句话，输出是目标语言的一句话。早年的主力方案是编码器-解码器结构的 LSTM，编码器把源句压成一个固定长度的隐状态向量，解码器从这个向量出发逐步生成目标词。问题是，句子稍微长一点，固定向量根本装不下全部语义，越靠前的信息越容易被后续内容冲淡。Transformer 绕开了“顺序压缩”的思路，用自注意力机制让每个词直接对全句其他词做加权关联，这就等于把“逐词理解”变成了“全局关系建模”。

初学者最容易问的问题：翻译任务这么依赖上下文，为什么不用更适合处理序列的循环结构？答案是并行效率。LSTM 必须按时间步串行计算，第 t 步依赖第 t-1 步的隐状态，GPU 等于被迫排队跑；而 Transformer 的注意力计算在单层内可以完全并行，训练速度上一个量级。模型表达力更强，速度还更快，自然成为主流选项。

1.2 这套系统到底做了什么、适合谁参考

这个项目最终完成的功能很实在：给定一句中文，系统输出一句英文；给定一句英文，系统也能反向输出中文。严格来说，这是典型的开放词表翻译任务，而不是那种只能翻几十个固定句式的玩具 Demo。整个系统包含数据预处理、词表构建、模型训练、推理解码四个模块，我用 PyTorch 复现了 Transformer 的标准结构，编码器六层，解码器六层，注意力头数八，模型维度 512。训练时使用 WMT 新闻语料的一个子集，清洗之后保留约一百万对中英平行句对，在单卡 GPU 上跑了两轮多。

这篇博文适合两类人：一是刚接触 NLP、想做文本翻译但不知道从哪下手的初学者，跟着把每个模块拆开之后，能建立 Transformer 的完整直觉；二是已经有工程经验、想快速验证 Attention 机制实际效果的朋友，可以直接参考我贴出来的关键实现和踩坑记录。我始终觉得，与其照着教程“抄代码”，不如先把设计思路想明白。

1.3 把“翻译任务”拆成四个关键环节

如果只给一句话概括这套系统的工程链路，我会写：数据清洗与句子对齐 → 子词切分与词表构建 → Transformer 编码器-解码器训练 → 束搜索解码输出。这四个环节每一步都有坑，每个坑都会影响最终翻译质量。

有意思的是，很多人在模型结构上花大功夫调参，反而忽视前两步。实际上，平行语料里中文和英文句子经常存在数量不对齐、标点错位、长句乱断的问题；如果输入是“你好，世界”这种中英文之间词序相差很大的句子，分词方式又直接决定了模型能否学到词对齐关系。我把清洗规则写得很保守：去掉长度超过 80 个 token 的长句，过滤双语长度比例超过 3:1 的对齐对，统一把全角标点转半角。这套规则不做特别聪明的处理，但很可靠。

2. 核心细节解析与实操要点

2.1 输入表示：词嵌入和位置编码缺一不可

自注意力机制本身不具备天然的顺序感，如果不加位置编码，句子“猫追老鼠”和“老鼠追猫”对模型来说没有任何区别。这是 Transformer 和 RNN 最大的结构差异：RNN 靠递推顺序隐式获得位置信息，Transformer 必须显式给每个 token 注入位置信号。

我采用的是原论文里的正弦位置编码，位置编码向量直接和词嵌入向量相加，然后一起送入第一层。公式如下：PE(pos, 2i) = sin(pos / 10000^(2i / d_model))，PE(pos, 2i+1) = cos(pos / 10000^(2i / d_model))，其中 pos 是 token 在句子里的位置索引，i 是向量维度序号。选择正弦函数而不是学出来的位置向量，主要是为了处理超长句子：模型没见过的长度也能生成对应的位置编码，不依赖训练数据的长度分布。

这里有个很容易被忽略的细节：位置编码的振幅和词嵌入初始化标准差要保持在同一个量级。如果词嵌入初始化成均值为 0、方差 1，而位置编码系数是固定三角函数的振幅 1，两者相加之后输入分布会被位置信号主导。我实际实验时，把词嵌入层先乘以 sqrt(d_model) 做缩放，再叠加位置编码，训练稳定度明显好很多。

2.2 多头注意力：Q、K、V 的角色分工

注意力机制可以类比成一个“信息检索”过程。每个 token 生成三个向量：Query 表示“我关心什么信息”，Key 表示“我能提供什么信息”，Value 是“我拥有的信息内容本身”。当前 token 拿 Query 去和所有 token 的 Key 做点积，得到一个相似度分数，经过 softmax 归一化成权重，再去加权所有 token 的 Value，完成信息融合。

多头就是把这个过程复制多份。每个头使用独立的投影矩阵，把词向量投影到不同的子空间，让模型分别关注不同的关系。比如一个头学会关注句法主语和谓语的关系，另一个头关注代词和先行词的关系，最后的输出把所有头的向量拼接起来，再经过一次线性变换。八个头可以理解为八套“并行的关系透镜”。

我在项目里比较特殊的处理是：把注意力分数除以 sqrt(d_k)，也就是 Query 向量维度的平方根。d_k 是 64（512 除以 8 个头的数量），所以除以 8。如果不缩放，两组随机初始化向量做点积，方差会随着维度增大变得很大，softmax 之后概率分布接近独热，梯度无法有效回传。这个缩放是整个自注意力能够稳定训练的基石之一，新手调参时往往忽略这个“常数”。

2.3 编码器和解码器：掩码遮住的未来信息

翻译模型解码时有一个关键约束：生成第 t 个词时，模型只能看到已经生成的 t-1 个词，绝不能偷看后面的目标词。想像一下考试写作文，你写到第五个字的时候，当然不知道接下来要写的字是什么——模型也一样。因此解码器里的自注意力必须施加“未来掩码”，把矩阵右上角的部分置为负无穷，softmax 之后这些位置的注意力权重会趋近于零。

编码器和解码器的另一个区别，是解码器中间多了一个交叉注意力层（cross-attention）。这个层的 Query 来自解码器上一层，Key 和 Value 来自编码器输出。也就是，解码器在生成词的时候，不仅参考自己已经生成的内容，还持续参考源句的全局语义。这是机器翻译最核心的“对齐”机制：每生成一个目标词，都要决定源句哪些词贡献最大。

我在实现里把三种 mask 放在一起做了统一封装。padding mask 把填充符位忽略；look-ahead mask 防止解码器偷看未来目标词；交叉注意力的 padding mask 去掉编码器填充位。这块代码最容易被初学者写乱，尤其要小心 mask 广播的维度。我在调试时用过一个很笨但有效的方法：把 mask 值可视化，生成一个上三角是深色、下三角是浅色的矩阵图，一眼就能看出未来掩码是否生效。

2.4 残差连接、层归一化和前馈层

Transformer 每一层都在做“先变换，再绕过变换”的操作。子层输出先经过残差连接与输入相加，再做层归一化。残差连接保证了深层网络的梯度不会因为层数加深而消失，层归一化则让每一层的激活值保持稳定的分布。

在翻译这种生成任务里，训练和推理阶段最怕的就是“小波动被不断放大”：某层输入均值和方差异常，最终输出几乎一定会崩。LayerNorm 和 BatchNorm 的差别在于，LayerNorm 是对单个样本的所有特征维度做归一化，不依赖 batch 大小，mini-batch 特别小的时候也非常稳定。我在训练时把 batch 压到 32 个句子，LayerNorm 依然表现良好，换成 BatchNorm 很可能已经无法收敛了。

前馈层就是两层的全连接网络，中间加 ReLU 激活，维度从 512 上升到 2048，再压缩回 512。这个层位置在注意力子层之后，可以理解为“注意力负责融合全局信息，前馈层负责逐 token 做非线性变换”。整个 block 的堆叠过程就是 6 层编码器 + 6 层解码器，层与层之间互相传递表征，最后一层输出再接进线性层和 softmax，产生目标词的概率分布。

2.5 分词与词表：BPE 子词切分到底解决什么问题

中英翻译里一个棘手问题是未登录词。日常语料中经常出现人名、地名、机构名，如果按词为单位建模，词表动辄几十万，稀疏问题非常严重。我采用的方案是 BPE（Byte Pair Encoding），先把语料切到字符级别，再反复合并出现频率最高的相邻字符对，最终得到一套规模适中、包含完整语义单元中又保留字符弹性的子词表。

子词化的价值，体现在翻译英文单词 understanding 时，模型可以选择生成 unprefix、stand 和 ing 多个片段，组合出完整含义。遇到词表外的生词时，至少能降级用字符合成，避免全部变成 UNK。我的词表规模控制在 32000 个子词，中文部分按字为单位切分，这种组合在翻译质量和小语料适配性之间取得了平衡。

动手实践的时候，我建议先用现成的分词工具做快速验证，比如 SentencePiece 或 HuggingFace 的 tokenizer，等整体流程跑通之后再尝试做自定义标签化。分词水平直接决定模型上限，如果词表里中文常用字都缺，后面的 Transformer 结构再精巧也是白搭。

3. 实操过程与核心环节实现

3.1 数据准备与清洗流程

这个项目的训练语料来自公开的中英平行语料子集。这里要特别注意，语料下载之后不要直接进模型，要做三层清洗。

第一层是格式清洗。把编码统一成 UTF-8，繁体中文转成简体，英文大小写归一，剔除包含乱码、HTML 标签或异常 Unicode 字符的句子。第二层是对齐质量过滤。中英句对经常存在“一句中文对应两句英文”的情况，我按照标点切分后做两两组合，尽量保证句对语意完整。第三层是长度过滤。过短的句子（少于 4 个 token）信息量小，过长的句子（超过 80 个 token）训练成本高且容易爆显存，直接去掉。

清洗完之后我给数据做了打乱和分批。批次大小按 token 数来算，而不是按句子条数。一个 batch 大约包含 2500 个源端 token，这样能避免批次内句子长短悬殊导致大量 pad，浪费计算量。实际操作时，我会先按长度大致排序，再随机打乱缓冲区，达到类似分桶的效果。

3.2 编码器-解码器结构的要点代码

下面是我整理的 Transformer 核心模块的结构示意，去掉了无关的工程细节，保留最容易写错的注意力部分。整个项目代码大约 600 行，核心网络模块集中在 200 行以内。

import torch import torch.nn as nn import math class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len=5000): super().__init__() pe = torch.zeros(max_len, d_model) pos = torch.arange(0, max_len).unsqueeze(1).float() div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(pos * div_term) pe[:, 1::2] = torch.cos(pos * div_term) self.register_buffer('pe', pe.unsqueeze(0)) def forward(self, x): return x + self.pe[:, :x.size(1)] def attention(q, k, v, mask=None): d_k = q.size(-1) scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(d_k) if mask is not None: scores = scores.masked_fill(mask == 0, float('-inf')) weights = torch.softmax(scores, dim=-1) return torch.matmul(weights, v) class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super().__init__() self.d_model = d_model self.num_heads = num_heads self.d_k = d_model // num_heads self.w_q = nn.Linear(d_model, d_model) self.w_k = nn.Linear(d_model, d_model) self.w_v = nn.Linear(d_model, d_model) self.w_out = nn.Linear(d_model, d_model) def forward(self, q, k, v, mask=None): batch_size = q.size(0) q = self.w_q(q).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) k = self.w_k(k).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) v = self.w_v(v).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) attn = attention(q, k, v, mask) attn = attn.transpose(1, 2).contiguous().view(batch_size, -1, self.d_model) return self.w_out(attn)

这里我故意把 mask 的维度留作了待传参数。实际调用时，编码器自注意力传 padding mask，解码器自注意力传 padding mask 与 look-ahead mask 相加的结果，交叉注意力传针对编码器输出的 padding mask。维度不匹配是高频报错点，有一个简单的自查方法：注意力分数矩阵的形状一般是 (batch, heads, tgt_len, src_len)，mask 必须是和这个形状兼容的 4 维张量或者广播后的形状。

3.3 训练配置与损失函数选择

训练翻译模型我用的损失是交叉熵，配合 label smoothing（标签平滑）。标准的交叉熵要求模型对正确词输出概率为 1，这会导致模型过度自信、生成译文僵化。标签平滑把正确词的概率目标设置为 0.9，剩余 0.1 平均分配给其他词，给模型一点容忍度。平滑系数太小没效果，太大会让模型丧失自信、译文反而变差，我试下来 0.1 是比较稳的默认值。

优化器选择 Adam，beta 参数为 (0.9, 0.98)，epsilon 设为 1e-9。这里最需要注意的，是千万不要直接用一个固定的学习率。Transformer 论文用的是 warmup 策略：前 4000 步学习率从很小线性升到峰值，之后按步数的负平方根缓慢衰减。原因是训练早期参数变化剧烈，学习率太大会把注意力权重推入饱和区，之后很难修正。

超参数配置我整理成了表格，这也是我最终跑通实验的一组可用参数：

训练时我每 500 步用一个 500 句的验证集测一次 BLEU。BLEU 值在 1 万步以前增长缓慢，属于正常现象，不需要焦虑。我自己跑到约 3 万步时，验证集 BLEU 从 7 涨到 26 左右，后面越涨越慢，到 6 万步基本进入平台期。

3.4 推理解码：贪心搜索换成束搜索

训练结束之后，推理阶段的目标是给定源句，逐步生成目标句。最简单的贪心搜索，每一步只取概率最高的词作为当前输出。问题是一旦第一步选错，后续全部被带偏，无法回头修正。束搜索的思路是每一步保留概率最高的前 beam size 条路径，最终选总体概率最高的那条。

我用的是 beam size=4，再加一个长度惩罚（length penalty）。模型倾向于输出较短的句子，因为短句每个词的概率乘起来数值更大，长句反而吃亏。长度惩罚项的做法是给每条候选句子的得分除以一个关于长度的惩罚系数，公式近似为 score / ((5 + len) / 6) 的 alpha 次方，alpha 取 0.6。这个操作不用动训练代码，只在推理 decode 时加，却能显著改善长句译文的完整性。

推理过程中，每条 beam 路径都在按自回归方式追加 token，直到出现句尾符或长度达到上限。我会额外设置一个重复惩罚：如果当前候选序列中某个词出现次数过多，就给它降权。这个技巧在翻译新闻语料时非常管用，能避免模型陷入“不断重复最后一个词”的死循环。

4. 常见问题与排查技巧实录

4.1 训练时显存耗尽

翻译模型的显存消耗大头是注意力矩阵。假设 batch 内某句话长 80，自注意力的分数矩阵是 80x80，乘以 batch 大小和注意力头数之后，内存占用非常可观。我遇到 OOM 之后的第一反应不是换显卡，而是先检查 batch_tokens 是否设置过大，以及序列是否真的被截断到 mask 约束的 80。

老手都会用梯度累积来绕过单卡显存限制，也就是每 2 到 4 个小 batch 更新一次参数，等效地扩大 batch size。我把 batch_tokens 从 2500 降到 1000，再用梯度累积步数 2 补回来，显存占用大幅下降，收敛速度几乎没有损失。如果你的显卡支持混合精度，绝大多数情况下可以无脑开启，在损失不增的前提下把显存占用再压掉三分之一。

4.2 损失不降或模型不收敛

损失完全不下降，十有八九是注意力 mask 写错了。这里有个特别隐蔽的问题：padding mask 的值为 0 的位置用负无穷填充，但在某些实现里 mask 的值反过来（1 表示有效，0 表示无效），一旦方向写反，就相当于全部 token 都被屏蔽，模型什么都学不到。排查的办法很简单：把某一个 batch 里 mask 的值打印出来，数一下有效占比是不是大致符合预期。

如果损失下降但幅度极慢，检查学习率是否太小，或者位置编码是否没有正确生效。我遇到过一种情况：写位置编码时忘记用 register_buffer，导致它被当成可训练参数参与优化，整体参数量增加了几十万，但损失反而不降。把位置编码改为不可训练常量之后，训练立刻恢复正常。

4.3 训练 BLEU 高、验证 BLEU 低

这种情况就是过拟合，在百万级别的语料上尤其常见。我的处理顺序比较简单：先加 dropout，把每层 dropout 从 0.1 提到 0.2；如果仍然过拟合，就减小 d_model 到 256；最后实在不行才降低层数。很多初学者的第一反应是加更多语料，但实际上先减模型容量往往更有效，因为语料清洗不干净时，加数据只会把噪声也灌进去。

4.4 译文出现大量重复词

重复词问题多半出现在解码时。除了前面提过的重复惩罚，还可以检查输出序列是否有“重复片段”。这个现象在中文翻译里特别明显，因为中文无明显词空格，单字“的”很容易被反复生成。除了调惩罚项，另一个取巧做法是增加验证集里长句的比例，让模型多学会处理平稳的长距离依赖。

4.5 出现大量 UNK

子词词表仍然覆盖不到的低频词会成为 UNK。真正有效的解决方法是把语料重新过一遍 BPE，合并阈值调低一点，比如从出现频率 2 降到出现频率 1，这样可以保留更多低频字符合并。另外，中英翻译中数字和日期非常容易成为 UNK，我专门加了一个预处理规则：把孤立数字替换为同一个保留 token，解码之后再映射回原数字。这个小技巧立竿见影，比扩容词表省事得多。

下面把上述问题整理成速查表，方便大家直接对照：

5. 一些个人的实操心得

项目做到最后，我发现比起模型结构，工程习惯对结果的影响被很多人低估了。常常有人问我：“注意力头数改成 16 会不会更好？层数加到 12 是不是就能超过论文？”我不否认调参能涨点，但在我这套中英翻译任务里，真正把 BLEU 从 20 拉到 25 的改动，反而是数据清洗得更干净、词表构建得更稳、标签平滑系数调得更准。

对我个人来说，还有一个印象很深的体会：不要在一开始就追求在最大数据集上训练，先用一个 5 万句的小样本集把完整流程跑通，确认代码没有 bug 之后，再切换到大语料正式训练。小样本十分钟就能出一个结果，哪怕模型效果差，也能快速验证 mask、位置编码、推理解码这些关键环节都正常。否则直接上百万句数据，训练三个小时发现损失不降，排查成本会高得让人想放弃。

最后分享一个小技巧：解码时把注意力权重单独存下来，选几个典型句子画成热力图。你可以直观看到“I”这个词在翻译“我”的时候，注意力主要落在了源句的哪个位置。看到热力图清晰地呈现出中英文的词对齐关系，我那时候才真正觉得自己理解了 Transformer 翻译的精髓。这个项目跑通之后，还可以往两个方向继续扩展：一是替换成更大规模的预训练语言模型做初始 checkpoint，用领域语料微调；二是加入多模态信息，比如图片描述、语音转录和文本翻译联合训练。每一步都是新的坑，但也都很值得走。