从零构建Transformer翻译模型：英译中实战与核心模块解析

1. 为什么选择Transformer做翻译三年前我第一次用RNN做英译中时经常遇到长句子翻译结果支离破碎的情况。直到尝试了Transformer才发现原来注意力机制真的能解决这个问题。Transformer最大的优势在于它能同时处理整个句子而不是像RNN那样逐个单词处理。这就好比翻译一篇文章时你可以把整页纸铺开对照着看而不是必须用纸条遮住其他部分逐行阅读。实际测试中在WMT14英德翻译任务上Transformer的BLEU值达到28.4比之前的LSTM模型提升了2个点。更关键的是训练速度——用8块GPU训练Base版本的Transformer只需要12小时而同等规模的RNN需要3天。这种效率提升主要来自三个方面并行计算Transformer的Self-Attention可以并行处理所有位置的数据短路径依赖任意两个单词之间只需一次矩阵运算内存效率不需要维护隐藏状态序列小技巧如果你手头的GPU显存不足可以尝试减小d_model(如从512降到256)和batch_size虽然会损失一些精度但能显著降低显存占用。2. 数据预处理实战2.1 处理中文繁体转简体我们使用的AI Challenger数据集包含1000万英中对照句对但中文是繁体字。用Python的langconv包转换只需三行代码from langconv import Converter def cht_to_chs(sent): return Converter(zh-hans).convert(sent)但要注意几个坑转换后的句子需要重新编码为UTF-8某些特殊符号如「」不会被自动转换人名翻译可能不一致如歐巴馬转奥巴马2.2 构建词表的技巧英文用nltk的word_tokenize分词中文直接按字符切分更简单。构建词表时我推荐from collections import Counter def build_dict(sentences, max_words50000): word_count Counter([word for sent in sentences for word in sent]) word_dict {w:i2 for i,w in enumerate(word_count.most_common(max_words))} word_dict.update({UNK:1, PAD:0}) return word_dict几个经验参数英文词表3-5万词足够覆盖99%的用例中文按字处理时6000常用字1000专业术语即可务必保留UNK和PAD两个特殊token2.3 批次生成优化为了减少padding的浪费我习惯先按长度排序再分batchdef len_argsort(seq): return sorted(range(len(seq)), keylambda x: len(seq[x])) sorted_index len_argsort(en_sentences) batch_en [en_sentences[i] for i in sorted_index] batch_cn [cn_sentences[i] for i in sorted_index]实测这个方法能使GPU利用率提升30%特别是当句子长度差异大时效果更明显。3. 模型核心组件实现3.1 词向量与位置编码Transformer的输入包含两部分Token Embedding用nn.Embedding实现记得乘以√d_modelPositional Encoding使用三角函数公式class PositionalEncoding(nn.Module): def __init__(self, d_model, dropout, max_len5000): pe torch.zeros(max_len, d_model) position torch.arange(0, max_len).unsqueeze(1) div_term torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0)/d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) self.register_buffer(pe, pe)为什么用这种编码我做过对比实验固定编码BLEU 26.3可学习编码BLEU 26.1不加位置编码BLEU 23.8固定编码不仅效果略好还能处理训练时没见过的长句子。3.2 多头注意力机制这是Transformer最核心的部分代码看似复杂其实就三步def attention(query, key, value, maskNone): # 1. 计算注意力分数 scores torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(d_k) # 2. 应用mask解码器用 if mask is not None: scores scores.masked_fill(mask0, -1e9) # 3. 加权求和 p_attn F.softmax(scores, dim-1) return torch.matmul(p_attn, value)实际使用时要拆分成多个头class MultiHeadedAttention(nn.Module): def __init__(self, h, d_model): assert d_model % h 0 self.d_k d_model // h self.linears clones(nn.Linear(d_model, d_model), 4) def forward(self, query, key, value): # 拆分成h个头 query self.linears[0](query).view(batch, -1, h, self.d_k).transpose(1,2) # ...类似处理key和value # 计算注意力 x attention(query, key, value) # 合并多头结果 x x.transpose(1,2).contiguous().view(batch, -1, h*self.d_k) return self.linears[-1](x)3.3 编码器与解码器结构编码器层由两个子层组成多头自注意力前馈网络(FFN)每个子层都采用残差连接层归一化class EncoderLayer(nn.Module): def forward(self, x, mask): x x self.dropout(self.self_attn(self.norm1(x), mask)) x x self.dropout(self.ffn(self.norm2(x))) return x解码器多了一个交叉注意力层用于关注编码器输出class DecoderLayer(nn.Module): def forward(self, x, memory, src_mask, tgt_mask): # 自注意力带mask x self.sublayer[0](x, lambda x: self.self_attn(x, x, x, tgt_mask)) # 关注编码器输出 x self.sublayer[1](x, lambda x: self.src_attn(x, memory, memory, src_mask)) # FFN return self.sublayer[2](x, self.ffn)4. 训练技巧与优化4.1 标签平滑(Label Smoothing)直接使用交叉熵损失会让模型过于自信加入标签平滑能提升泛化能力class LabelSmoothing(nn.Module): def forward(self, x, target): true_dist x.data.clone() true_dist.fill_(self.smoothing / (self.size - 2)) true_dist.scatter_(1, target.data.unsqueeze(1), self.confidence) return self.criterion(x, true_dist)设置smoothing0.1时在验证集上BLEU能提升0.3-0.5。4.2 学习率调度我推荐使用带warmup的调度策略def get_lr(step, d_model, warmup_steps4000): return d_model**-0.5 * min(step**-0.5, step*warmup_steps**-1.5)这种调度在训练初期缓慢增加学习率避免模型过早陷入局部最优。4.3 评估指标使用SacreBLEU比传统BLEU更可靠from sacrebleu.metrics import BLEU bleu BLEU(tokenizezh) score bleu.corpus_score(hypotheses, [[refs]])注意一定要指定tokenizezh否则中文会被错误分词。5. 完整模型组装将所有组件组合成完整Transformerdef make_model(src_vocab, tgt_vocab, N6, d_model512): c copy.deepcopy attn MultiHeadedAttention(8, d_model) ff PositionwiseFeedForward(d_model, 2048) position PositionalEncoding(d_model, 0.1) model Transformer( Encoder(EncoderLayer(d_model, c(attn), c(ff)), N), Decoder(DecoderLayer(d_model, c(attn), c(attn), c(ff)), N), nn.Sequential(Embeddings(d_model, src_vocab), c(position)), nn.Sequential(Embeddings(d_model, tgt_vocab), c(position)), Generator(d_model, tgt_vocab)) # 参数初始化很重要 for p in model.parameters(): if p.dim() 1: nn.init.xavier_uniform_(p) return model在8GB显存的GPU上这个配置可以跑batch_size32。如果显存不足可以减少d_model到256减小batch_size到16使用梯度累积技巧6. 实际效果展示训练约10万步后约12小时模型在测试集上的表现输入句子人工翻译模型输出I love natural language processing我热爱自然语言处理我喜欢自然语言处理The quick brown fox jumps over the lazy dog敏捷的棕色狐狸跳过懒惰的狗快速的棕狐跳过懒狗常见错误类型专有名词翻译不准如人名、地名中文量词使用不当如一个狗长句的语序偶尔混乱这些问题可以通过以下方式改善增加训练数据中的专业领域语料在损失函数中加入词性约束使用更大的模型如d_model1024