注意力机制原理与QKV计算详解：从生物直觉到Transformer实现

1. 什么是注意力机制从“找重点”到模型的“主动聚焦”你有没有过这种体验在嘈杂的咖啡馆里朋友突然提到你的名字你瞬间就从一堆背景音中把这句话揪了出来或者读一段文字时眼睛会不自觉地跳过“的”“了”“在”这类虚词直接盯住“猫”“坐”“垫子”这些承载核心信息的实词这种人类与生俱来的、对关键信息的快速筛选和加权处理能力就是注意力机制最朴素的生物学原型。在深度学习领域“注意力机制”Attention Mechanism不是一种玄学概念而是一套可计算、可微分、可训练的数学工程方案。它的核心目标非常务实让模型在处理序列数据比如一句话、一段代码、一串传感器读数时不再平均用力而是能像人一样根据当前任务的需要动态地决定“此刻该看哪里、该信多少”。这个“看哪里”就是Query查询“哪些地方值得看”就是Key键而“看到的内容本身”就是Value值。三者共同构成一个“查询-匹配-提取”的闭环。很多人初学时容易被“QKV”这三个字母绕晕其实可以把它想象成一个高效的图书馆检索系统。假设你要查一本关于“Transformer”的书这就是你的Query图书馆的每本书脊上都贴着一个关键词标签Key比如“NLP”“深度学习”“架构设计”。你不会逐本翻阅而是先快速扫一遍所有标签判断哪些标签和“Transformer”最相关——这个打分过程就是计算Query和每个Key的相似度。最后你只借阅那些高分标签对应的书Value并且借阅时还按分数高低决定每本书翻多深、看多久。整个过程就是一次完整的注意力计算。这个机制之所以在2017年引爆AI界并非因为它凭空创造了新功能而是它用一种极其优雅的方式彻底绕开了RNN和CNN在处理长距离依赖时的根本性瓶颈。RNN像一个单线程的流水线工人处理完第1个词才能开始处理第2个词要理解第100个词和第1个词的关系信号得在神经网络里“走”99步梯度在反向传播时极易消失或爆炸。CNN则像一个戴着固定大小“放大镜”的质检员每次只能看清局部几个词要看清首尾关系得靠堆叠很多层让感受野慢慢扩大效率极低。而注意力机制天生就是“全连接”的——它让序列里的任意两个位置之间都建立了一条直达的、可学习的“注意力通道”。无论“猫”和“垫子”相隔多远模型都能在一步之内计算出它们的相关性。这正是Vaswani团队那篇划时代论文标题《Attention Is All You Need》的底气所在当“关注重点”这件事本身就能被建模、被优化那么那些为了解决“关注不到”而设计的复杂结构就真的可以退场了。2. 核心原理拆解为什么是QKV为什么需要缩放与Softmax理解注意力机制绝不能停留在“它很厉害”的层面必须深挖它每一个设计选择背后的工程智慧。为什么偏偏是Query、Key、Value三个向量为什么计算点积后还要除以根号d_k为什么非得用Softmax这些都不是随意为之而是针对实际训练中暴露出的痛点所做出的精准手术。2.1 Query、Key、Value分工明确的“信息三剑客”初学者常误以为Q、K、V是同一个向量的不同叫法这是最大的认知误区。它们在模型中扮演着截然不同、且不可替代的角色其本质是将“我想要什么”、“什么东西有这个”、“那个东西具体是什么”这三个逻辑步骤解耦为三个独立的、可学习的向量空间。Query查询向量代表“当前时刻的意图”。在生成句子时它对应的是“我接下来要生成的这个词需要参考输入中的哪些信息”在图像识别中它可能代表“我正在分析的这个图像区域需要关注哪些其他区域的特征”。Query是主动发起者是问题的提出者。它通常由当前解码器的状态Decoder State或编码器的某个位置状态Encoder State经过一个线性变换W^Q得到。Key键向量代表“信息的索引或标识”。它回答的是“我这里存着什么类型的信息能匹配上你的查询”。Key的作用是让模型能够快速“检索”出与Query最相关的部分。它由输入序列的每个元素如每个词的状态经过另一个独立的线性变换W^K得到。Key的设计精髓在于它把原始的、高维的、语义模糊的输入表示压缩、映射成了一个专门用于“匹配”的、低维的、语义清晰的“指纹”。Value值向量代表“信息的实质内容”。它回答的是“一旦匹配成功我真正要拿给你看的东西是什么”。Value才是最终参与加权求和、构成输出的“干货”。它同样由输入序列的每个元素的状态但经过第三个独立的线性变换W^V得到。这个变换可以保留比Key更丰富的语义细节因为Key只需要做粗略匹配而Value需要承载精确信息。提示你可以把QKV想象成一个“智能快递系统”。Query是你下的订单“我要一箱苹果”Key是仓库里每个货架的编号和标签“A区-水果-苹果”、“B区-蔬菜-白菜”Value则是货架上实实在在的货物一箱红富士苹果、一捆小白菜。系统不会因为你订了苹果就把白菜也给你送过来它会先用你的订单Q去扫描所有货架标签K找到匹配度最高的“苹果”货架然后才从那个货架V上取货。QKV的分离保证了“意图”、“索引”、“内容”三者的解耦这是整个机制灵活、鲁棒的基础。2.2 缩放点积Scaled Dot-Product防止Softmax“失焦”的关键注意力的核心计算是Query和Key的点积Dot-Product公式为Score Q · K^T。点积越大说明Query和Key越相似匹配度越高。但这里藏着一个巨大的陷阱当Key向量的维度d_k很大时在实际的Transformer中d_k通常是64或128点积的结果会变得非常大。举个简单例子两个128维的随机向量其点积的期望值接近于0但方差却高达128。这意味着未经处理的点积分数会散布在一个非常宽的范围内有些极大有些极小。这个现象对后续的Softmax函数是灾难性的。Softmax的公式是softmax(x_i) exp(x_i) / Σ_j exp(x_j)。当输入x_i的值过大时exp(x_i)会迅速溢出为无穷大inf导致整个计算崩溃当x_i的值过小时exp(x_i)会下溢为0导致梯度消失。更重要的是即使数值稳定过大的点积也会让Softmax的输出分布变得极其“尖锐”——一个分数略高其softmax值就接近1其余全部趋近于0。这会让模型变得“非黑即白”丧失了对多个相关项进行平滑加权的能力训练过程会变得非常不稳定。解决方案就是缩放Scaling在计算点积后除以√d_k。这个操作的数学直觉是点积的方差大致正比于d_k因此除以√d_k可以将点积的方差“归一化”回一个合理的范围大约为1从而让Softmax的输入落在一个数值友好的区间内。这就像给一个过于敏感的麦克风加上一个自动增益控制AGC电路确保无论输入声音多大输出信号都能保持在线性、可处理的范围内。没有这一步缩放现代大模型的训练几乎不可能收敛。2.3 Softmax从“分数”到“概率权重”的桥梁Softmax函数是注意力机制中承上启下的关键一环。它的输入是缩放后的点积分数输出则是一组和为1的正数可以被完美地解释为概率分布或注意力权重。为什么必须是Softmax因为我们需要一个可微分的、能将任意实数向量映射为概率分布的函数。Sigmoid函数虽然也能输出0-1之间的数但它无法保证所有输出之和为1因此不能作为“权重”。而Softmax不仅满足了这个硬性约束其导数形式也非常优美∂softmax(x_i)/∂x_j softmax(x_i) * (δ_ij - softmax(x_j))这使得整个注意力计算过程可以顺畅地进行反向传播误差能准确地回传到Q、K、V的每一个参数上。Softmax的输出权重直观地告诉我们“对于当前的Query输入序列中每个位置的Value应该被赋予多大的‘话语权’。” 权重为0.8意味着这个Value贡献了80%的信息权重为0.05则只贡献了微不足道的5%。这种软性的、可学习的加权是模型能够捕捉到“猫坐在垫子上”中“猫”和“垫子”都对动词“坐”至关重要而非简单地认为只有“猫”是主语的根源。3. 手把手实现从单个词到完整矩阵的注意力计算理论再扎实不如亲手算一遍。我们来复现原文中那个经典的“The cat sat on the mat”例子但这次我们将它扩展为一个完整的、可运行的、符合工业级实践的计算流程。这不仅能巩固理解更能让你看清从纸面公式到真实代码的每一处细节。3.1 构建基础向量从单词到嵌入Embedding首先我们需要为句子中的每个单词创建一个数值化的表示即词嵌入Word Embedding。原文中使用了简化的2D向量但在真实世界中嵌入维度d_model通常是512、768甚至更高。为了教学清晰我们仍采用2D但会严格遵循Transformer的初始化规范。假设我们的词汇表Vocabulary包含6个词[PAD, The, cat, sat, on, mat]。我们为每个词分配一个2维的嵌入向量。这些向量并非随意指定而是通过一个嵌入层nn.Embedding学习得到。在初始化时我们通常使用Xavier均匀分布其范围是[-1/√d_model, 1/√d_model]。对于d_model2范围就是[-0.707, 0.707]。import torch import torch.nn as nn import numpy as np # 设置随机种子保证结果可复现 torch.manual_seed(42) np.random.seed(42) # 定义词汇表和嵌入维度 vocab [PAD, The, cat, sat, on, mat] d_model 2 vocab_size len(vocab) # 创建嵌入层模拟预训练好的词向量 embedding nn.Embedding(vocab_size, d_model) # 使用Xavier初始化 nn.init.xavier_uniform_(embedding.weight) # 将句子转换为token ID sentence [The, cat, sat, on, mat] token_ids [vocab.index(word) for word in sentence] print(Token IDs:, token_ids) # [1, 2, 3, 4, 5] # 获取嵌入向量形状: [seq_len, d_model] [5, 2] X embedding(torch.tensor(token_ids)) print(Input Embeddings X:\n, X.detach().numpy())运行这段代码你会得到类似如下的输出由于随机初始化具体数值会有微小差异Input Embeddings X: [[-0.211 0.523] [ 0.634 -0.145] [-0.456 0.321] [ 0.123 0.678] [ 0.567 -0.234]]这个矩阵X就是我们整个注意力计算的起点。每一行代表一个词的嵌入向量。3.2 生成Q、K、V线性变换的魔力现在我们有了输入X下一步是生成Query、Key、Value。在Transformer中这是通过三个独立的、可学习的线性层Linear Layer完成的。每个层都有自己的权重矩阵W^Q、W^K、W^V。为了简化我们假设这三个矩阵都是2x2的并且我们手动设定它们的值以复现原文的计算逻辑。# 定义Q, K, V的权重矩阵2x2 # W_Q: 将嵌入映射为Query W_Q torch.tensor([[1.0, 0.0], [0.0, 1.0]], dtypetorch.float32) # W_K: 将嵌入映射为Key原文说Key和Query向量相同所以W_K W_Q W_K W_Q.clone() # W_V: 将嵌入映射为Value我们设为一个简单的变换 W_V torch.tensor([[0.5, 0.0], [0.0, 0.5]], dtypetorch.float32) # 计算Q, K, V矩阵乘法 Q torch.matmul(X, W_Q.T) # [5, 2] [2, 2] - [5, 2] K torch.matmul(X, W_K.T) # [5, 2] [2, 2] - [5, 2] V torch.matmul(X, W_V.T) # [5, 2] [2, 2] - [5, 2] print(Q (Queries):\n, Q.detach().numpy()) print(K (Keys):\n, K.detach().numpy()) print(V (Values):\n, V.detach().numpy())此时Q、K、V矩阵的形状都是[5, 2]其中5是序列长度5个词2是向量维度。注意原文中只计算了“sat”这个Query即Q矩阵的第3行索引为2。我们可以单独提取它# 提取sat的Query向量 (Q[2]) q_sat Q[2].unsqueeze(0) # [1, 2] print(Query for sat:, q_sat.detach().numpy()) # 应该接近 [0.123, 0.678]3.3 完整的注意力计算五步走的工业级流程现在我们拥有了所有原材料可以执行完整的注意力计算了。整个过程严格遵循原文描述的五个步骤但我们将它写成一个通用的、可复用的函数。def scaled_dot_product_attention(Q, K, V, maskNone): 计算缩放点积注意力。 Args: Q: Query矩阵, shape [batch_size, seq_len_q, d_k] K: Key矩阵, shape [batch_size, seq_len_k, d_k] V: Value矩阵, shape [batch_size, seq_len_v, d_v] mask: 可选的掩码矩阵, 用于屏蔽无效位置如padding Returns: output: 注意力加权后的输出, shape [batch_size, seq_len_q, d_v] attention_weights: 注意力权重矩阵, shape [batch_size, seq_len_q, seq_len_k] # Step 1: 计算点积分数 (Q K^T) # Q: [1, 5, 2], K: [1, 5, 2] - K^T: [1, 2, 5] - scores: [1, 5, 5] scores torch.matmul(Q, K.transpose(-2, -1)) # Step 2: 缩放 (除以 sqrt(d_k)) d_k Q.size(-1) # d_k 2 scores scores / torch.sqrt(torch.tensor(d_k, dtypetorch.float32)) # Step 3: 可选 - 应用掩码例如屏蔽padding位置 if mask is not None: scores scores.masked_fill(mask 0, -1e9) # 将mask为0的位置设为极小值 # Step 4: Softmax得到注意力权重 attention_weights torch.nn.functional.softmax(scores, dim-1) # Step 5: 加权求和 (attention_weights V) output torch.matmul(attention_weights, V) return output, attention_weights # 为演示我们只计算一个batch一个sequence Q_batch Q.unsqueeze(0) # [1, 5, 2] K_batch K.unsqueeze(0) # [1, 5, 2] V_batch V.unsqueeze(0) # [1, 5, 2] # 计算完整注意力 output, attn_weights scaled_dot_product_attention(Q_batch, K_batch, V_batch) print(Attention Weights (for all queries):\n, attn_weights[0].detach().numpy()) print(Output (weighted sum of V):\n, output[0].detach().numpy())运行这段代码你将看到一个5x5的注意力权重矩阵。这个矩阵的第3行对应“sat”的Query就是原文中计算出的权重。你会发现这一行的权重之和为1.0且最大的权重很可能出现在“cat”索引1和“sat”索引2自身上这完美印证了“坐”这个动作其核心参与者是“猫”和“垫子”“mat”在索引4也可能有较高权重。实操心得在真实的PyTorch代码中你几乎不会自己手写scaled_dot_product_attention。PyTorch 1.12版本已经内置了高度优化的torch.nn.functional.scaled_dot_product_attention函数它支持Flash Attention等加速技术。但亲手实现一遍是理解其内部机理、排查模型bug、以及进行定制化修改比如添加新的注意力变体的必经之路。我曾经在一个语音识别项目中就是因为没搞懂mask的填充逻辑导致模型在处理变长音频时总是把静音段误判为有效语音调试了整整两天。4. 多头注意力Multi-Head Attention从“单眼观察”到“全景扫描”单头注意力Single-Head Attention是一个强大的工具但它有一个潜在的局限性它只提供了一种“视角”或一种“关系模式”。想象一下如果一个画家只用一支铅笔作画无论他多么技艺高超也只能描绘出线条的粗细和疏密。但如果给他一套水彩、一套油画颜料、一套版画工具他就能同时展现色彩、质感、光影等多个维度的信息。多头注意力就是给模型配备了这样一套“多模态”的观察工具。4.1 为什么单头不够——“平均化”的陷阱单头注意力的输出是所有Value的一个加权和。这个加权和是一个单一的向量。如果输入序列中存在多种不同类型的相关性例如在句子“The animal sat on the mat”中“animal”和“mat”是地点关系“animal”和“sat”是主谓关系“sat”和“on”是动介关系单头注意力在计算一个Query比如“sat”时可能会被迫将所有这些关系“揉”进一个权重向量里。结果就是它可能既没有很好地捕捉到主谓关系也没有很好地捕捉到动介关系最终输出一个“四不像”的、平均化的表示。这就像一个只有一只眼睛的人很难准确判断一个物体的立体深度。4.2 多头的实现并行投影与拼接多头注意力Multi-Head Attention, MHA的解决方案非常精妙它不追求一个“全能”的头而是创造多个“专精”的头让它们并行工作最后再把结果拼接起来。其核心步骤如下并行投影将原始的Q、K、V矩阵分别通过h个不同的线性层投影到h个不同的子空间。每个子空间的维度是d_k/h和d_v/h。例如如果原始d_model512h8那么每个头的d_k d_v 64。并行计算在h个子空间中并行地执行h次独立的缩放点积注意力计算。每个头都会产生一个维度为[seq_len, d_v/h]的输出。拼接与线性变换将h个头的输出在最后一个维度d_v/h上进行拼接得到一个维度为[seq_len, d_v]的矩阵。最后再通过一个线性层W^O将其映射回原始的d_model维度得到最终的MHA输出。这个过程可以用一个简洁的公式概括MultiHead(Q, K, V) Concat(head_1, ..., head_h) * W^O其中head_i Attention(Q * W_i^Q, K * W_i^K, V * W_i^V)4.3 多头的工程价值不只是“更多”而是“更好”多头注意力的价值远不止于“计算量翻倍”。它带来了几个关键的工程优势表征能力的指数级提升每个头可以学习到输入数据中不同方面的模式。一些头可能专注于语法结构如主谓宾一些头可能专注于语义角色如施事、受事、工具还有一些头可能专注于长距离的指代关系如“it”指代前文的哪个名词。这种“分而治之”的策略极大地丰富了模型的表征能力。训练的鲁棒性增强由于有多个头并行工作即使某一个头在训练初期学得不好其他头仍然可以提供有效的信号这使得整个MHA模块的训练过程更加稳定不容易陷入局部最优。计算的并行化友好所有的头计算是完全独立的这使得MHA天然适合GPU等并行计算硬件。现代深度学习框架如PyTorch、TensorFlow都能对此进行极致的优化。在实际的Transformer实现中MHA是标准配置。你可以把它看作是模型的“视觉皮层”而单头注意力只是其中的一个“神经元”。没有MHATransformer就失去了其最核心的、区别于所有前辈模型的竞争力。5. 常见问题与实战排坑指南从理论到落地的血泪经验在将注意力机制从论文搬到生产环境的过程中我踩过的坑、调过的参、debug过的bug可能比读过的论文还要多。以下这些都是我在多个NLP、CV、甚至时间序列预测项目中用真金白银换来的经验希望能帮你少走弯路。5.1 问题注意力权重全是0或1模型不学习现象在训练初期观察attn_weights发现它要么是全0要么是某个位置为1、其余全0像一个“硬注意力”Hard Attention而不是预期的“软注意力”。原因与排查最常见原因缩放因子错误。检查你的d_k是否正确。如果你的Key向量是[batch, seq, d_k]那么d_k应该是最后一个维度的大小。一个经典错误是误用了d_model整个嵌入维度作为缩放因子而实际上每个头的d_k是d_model / num_heads。例如d_model768,num_heads12那么d_k应该是64而不是768。次常见原因初始化不当。如果Q、K、V的权重矩阵初始化得过大比如用nn.init.normal_(weight, std1.0)会导致初始的点积分数过大Softmax后直接饱和。应始终使用Xavier或Kaiming初始化。隐藏原因梯度爆炸/消失。检查你的梯度norm。如果梯度norm在前几轮就飙升到1000那么注意力分数必然失控。此时除了检查初始化还要检查学习率是否过高以及是否在损失函数前加了不必要的torch.mean()导致梯度尺度异常。解决方法在训练循环中加入一个简单的断言# 在计算attn_weights后立即添加 assert not torch.isnan(attn_weights).any(), NaN in attention weights! assert not torch.isinf(attn_weights).any(), Inf in attention weights! # 检查是否过于集中 entropy -torch.sum(attn_weights * torch.log(attn_weights 1e-9), dim-1) assert entropy.mean() 0.1, fAttention entropy too low: {entropy.mean().item()}5.2 问题模型在长文本上性能骤降注意力“失焦”现象在处理短文本100词时模型效果很好但当输入长度增加到512或1024时性能显著下降BLEU或F1分数大幅降低。原因与排查根本原因二次方复杂度。标准的自注意力计算复杂度是O(n²)其中n是序列长度。当n从100增加到1000计算量增加了100倍这不仅拖慢训练更严重的是它让模型在长序列上难以有效地“聚焦”因为噪声项无关词的数量呈平方级增长稀释了真正的相关信号。排查方法监控GPU显存占用和单步训练时间。如果n翻倍显存占用和时间也近乎翻倍那基本可以确定是O(n²)瓶颈。解决方法方案1推荐使用稀疏注意力Sparse Attention。Hugging Face的transformers库中Longformer和BigBird模型就实现了这种技术。它们不是计算所有n²个pair而是只计算每个token与它附近k个token以及与全局g个特殊token如[CLS]的注意力将复杂度降至O(n*k n*g)。方案2分块处理Chunking。将长文本切成固定长度的块如512分别编码再用一个轻量级的RNN或CNN来融合块间信息。这牺牲了一点全局一致性但成本极低。方案3前沿使用Flash Attention。这是一个CUDA内核级别的优化通过IO感知的算法将注意力计算的显存带宽需求降到最低能在不改变模型结构的前提下将长序列训练速度提升2-3倍。PyTorch 2.0已原生支持。5.3 问题注意力可视化结果“看不懂”和预期不符现象你用matplotlib画出了attn_weights的热力图但发现“cat”和“sat”的权重并不高反而是“the”和“on”的权重很高这和语言学直觉相悖。原因与排查真相1模型学到的是统计规律不是语法规则。在海量语料中“the”是最高频的词它和几乎所有其他词都有很高的共现概率。模型可能只是在学习“高频词倾向于和所有词都有弱相关”这一统计事实。真相2你看到的是“编码器-编码器”注意力而非“解码器-编码器”。在机器翻译中解码器在生成每个词时会看向编码器的所有输出这个注意力才更符合“对齐”的直觉。而编码器内部的自注意力更多是在构建一个上下文感知的、丰富的中间表示其模式往往更复杂、更难解释。真相3可视化的是平均值。你画的是整个batch的平均注意力权重而一个batch里可能混杂了各种句式。应该挑出一个具体的、你熟悉的句子单独可视化其注意力。解决方法不要过度解读单个热力图。把它当作一个诊断工具而不是一个“可解释性报告”。重点关注权重是否大致集中在对角线附近表明模型在关注局部上下文是否有明显的长距离跳跃表明模型确实在捕获长程依赖结合梯度类方法。使用Integrated Gradients或Attention Rollout等技术追踪一个特定输出词的梯度是如何回传到输入词上的。这种方法往往比原始注意力权重更能揭示模型的“决策路径”。5.4 高级避坑技巧关于掩码Masking的生死线掩码是注意力机制中一个看似简单、实则致命的环节。它决定了模型“能看到什么”和“不能看到什么”是实现因果语言建模如GPT和双向语言建模如BERT的基石。Padding Mask用于处理变长序列。在批处理batching时我们会把短句子用PAD符号补齐到统一长度。这个掩码告诉模型“这些PAD位置是无效的别管它们。” 实现上就是在计算scores后用masked_fill_将PAD对应位置的分数设为-inf这样Softmax后权重就是0。Causal Mask也称Look-Ahead Mask这是GPT系列模型的灵魂。它强制模型在预测第t个词时只能看到第1到第t-1个词而不能看到第t1及以后的词从而保证了“自回归”Autoregressive的特性。它的实现是一个上三角矩阵对角线及以下为1以上为0。提示一个常见的、会导致模型完全失效的错误是在训练GPT时错误地应用了Padding Mask却忘了应用Causal Mask。结果就是模型在训练时就能“偷看”未来学到了一个虚假的、无法在推理时复现的能力。我曾在一个客户项目中遇到此问题花了三天才定位到教训深刻。务必在代码中用注释清晰地标明每一种掩码的用途和生效位置。6. 从注意力到Transformer一个完整模型的骨架搭建注意力机制是Transformer的“心脏”但一个能工作的模型还需要“骨骼”位置编码、“血液”残差连接与层归一化、“肌肉”前馈网络等部件协同工作。让我们快速勾勒出这个宏伟建筑的蓝图理解注意力是如何被嵌入到一个更大系统中的。6.1 Transformer Encoder Block注意力的“家”一个标准的Transformer Encoder Block其结构是高度模块化的可以看作是两层“注意力前馈”的堆叠中间用残差连接Residual Connection和层归一化Layer Normalization粘合。其核心流程如下输入一个形状为[batch, seq_len, d_model]的张量X。Multi-Head Self-AttentionX同时作为Q、K、V的输入经过MHA层得到输出Z。注意这里是“Self-Attention”因为Q、K、V都来自同一个X。残差连接与层归一化计算X1 LayerNorm(X Z)。这一步至关重要它缓解了深层网络的梯度消失问题并稳定了训练。前馈神经网络FFNX1经过一个两层的全连接网络通常第一层将维度扩大到4*d_model第二层再缩回d_model得到Z2。第二次残差连接与层归一化计算X2 LayerNorm(X1 Z2)。X2就是这个Encoder Block的最终输出它将被送入下一个Block或作为整个Encoder的最终输出。这个结构之所以强大是因为它将“全局信息聚合”MHA和“局部非线性变换”FFN完美地结合在了一起。MHA负责“理解上下文”FFN负责“提炼特征”而残差连接则像一条高速公路确保原始信息能无损地流过整个网络。6.2 Transformer Decoder Block注意力的“双引擎”Decoder Block比Encoder Block更复杂因为它需要同时处理两种不同的注意力Masked Multi-Head Self-Attention作用于Decoder自身的输入即已生成的词序列。它必须是“因果”的即每个位置只能看到它之前的位置这是通过Causal Mask实现的。Multi-Head Encoder-Decoder Attention这是Decoder的“眼睛”。它的Q来自Decoder上一层的输出而K和V则来自Encoder的最终输出。这使得Decoder在生成每一个新词时都能“回头”去看整个输入序列从而建立起输入与输出之间的对齐关系。这两个注意力层一个负责“记住自己说了什么”一个负责“理解对方说了什么”共同构成了一个强大的序列到序列Seq2Seq转换引擎。6.3 位置编码Positional Encoding给“无序”的注意力注入“顺序”注意力机制本身是“位置无关”Permutation-Invariant的。它只关心词与词之间的关系而不关心它们在序列中的绝对位置。这意味着如果我把“猫坐垫子上”打乱成“垫子猫上坐”注意力计算出的结果可能完全一样这显然违背了语言的基本规则。解决方案就是位置编码Positional Encoding。它是一个与词嵌入维度d_model相同的向量被加到每个词的嵌入向量上。这个向量的每个维度都由一个不同频率的正弦/余弦函数生成PE(pos, 2i) sin(pos / 10000^(2i/d_model))PE(pos, 2i1) cos(pos / 10000^(2i/d_model))其中pos是词在序列中的位置i是向量的维度索引。这种设计的精妙之处在于唯一性每个位置pos都有一个独一无二的编码。有序性位置posk的编码可以从位置pos的编码通过一个线性变换近似得到这使得模型能够轻松地学习到相对位置信息。泛化性由于是基于三角