【系统学AI】25 论文导读 ①：两篇改变 AI 的开山之作——Attention Is All You Need ReAct

本文是「AI 学习计划」系列第 27 篇模块 07 论文导读第 1 篇。选这两篇放一起读Transformer 定义了大模型怎么思考ReAct 定义了大模型怎么行动。一个是引擎一个是方向盘。论文 AAttention Is All You Need2017基本信息项内容标题Attention Is All You Need作者Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, PolosukhinGoogle Brain Google Research发表NeurIPS 2017引用130,000截至 2026AI 领域史上引用最高的论文之一链接https://arxiv.org/abs/1706.03762一句话总结完全抛弃 RNN/CNN仅用自注意力机制Self-Attention构建序列到序列模型速度更快、效果更好。这篇论文解决了什么问题2017 年之前NLP 的主流架构是 RNNLSTM/GRU问题 1无法并行——RNN 必须逐步处理序列token 1 算完才能算 token 2GPU 利用率极低问题 2长距离遗忘——序列太长时前面的信息到后面就忘了梯度消失问题 3训练慢——因为无法并行大规模训练代价极高Transformer 的解法用注意力机制一次性看完整个序列每个 token 都能直接关注到任意远处的 token且所有计算完全可并行。核心架构拆解5 个关键模块输入 → [Embedding 位置编码] → [Encoder ×6] → [Decoder ×6] → 输出1. Self-Attention自注意力——论文核心Attention(Q, K, V) softmax(QK^T / √d_k) · VQQuery我在找什么KKey我有什么标签VValue我的实际内容√d_k缩放因子防止点积过大导致 softmax 梯度消失直觉理解每个词对其他所有词做一次相关性投票投票结果决定这个词应该关注谁。2. Multi-Head Attention多头注意力不是做一次注意力而是做h8 次8 个头每个头关注不同的语义维度头 1 可能关注语法关系头 2 可能关注语义相似度头 3 可能关注位置邻近性最后把 8 个头的结果拼起来过一个线性层。3. 位置编码Positional Encoding因为注意力机制本身不知道顺序它是并行计算的需要手动注入位置信息PE(pos, 2i) sin(pos / 10000^(2i/d)) PE(pos, 2i1) cos(pos / 10000^(2i/d))为什么用三角函数因为它能让模型学到相对位置两个位置的编码差是固定模式。2026 注现代大模型已用RoPE旋转位置编码替代支持更长上下文。但理解原始设计是基础。4. Feed-Forward NetworkFFN每个 Attention 层后面跟一个两层 MLPFFN(x) max(0, xW₁ b₁)W₂ b₂有人把 FFN 比喻为记忆库——注意力层负责理解关系FFN 负责存储知识。5. 残差连接 Layer Norm每个子层都是output LayerNorm(x SubLayer(x))残差连接让梯度能直接流回底层解决深层网络训练难题LayerNorm 让训练更稳定。为什么这篇论文改变了一切影响具体表现GPT 系列只用 Decoder自回归GPT-1→GPT-5.5BERT 系列只用 Encoder双向BERT→RoBERTa→DeBERTaT5/GLMEncoder-Decoder 完整使用Vision Transformer把图像切成 patch 当 token 处理扩散模型Stable Diffusion 的 U-Net 里嵌入了 Cross-Attention一句话总结影响2017 年后 AI 领域几乎所有突破都建立在 Transformer 之上。读这篇论文的正确姿势先看 Figure 1架构图——建立全局直觉重点读 §3.2Scaled Dot-Product Attention——核心公式理解 §3.2.2Multi-Head——为什么多个头比一个好跳过 §5.4训练细节——除非你要复现配合 Jay Alammar 的 Illustrated Transformer 一起看——可视化版论文 BReAct — Synergizing Reasoning and Acting in Language Models2022基本信息项内容标题ReAct: Synergizing Reasoning and Acting in Language Models作者Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan CaoPrinceton Google Brain发表ICLR 2023 (Spotlight)引用4,000Agent 领域引用最高的论文之一链接https://arxiv.org/abs/2210.03629一句话总结让 LLM 在生成推理过程Thought的同时生成行动Action形成 Thought→Action→Observation 循环显著提升复杂任务完成能力。解决了什么问题2022 年之前LLM 有两个流派Chain-of-ThoughtCoT让模型一步步想但只能推理不能行动不能搜索、不能计算Action-only让模型直接调工具但没有推理过程经常做蠢事ReAct 把两者合并先想为什么要做Thought再做Action看到结果Observation再想下一步。核心范式Thought-Action-Observation 循环用户问题: Apple Remote 能控制哪些程序这些程序的原开发者是谁 Thought 1: 我需要先搜索 Apple Remote 能控制什么程序。 Action 1: Search[Apple Remote] Observation 1: Apple Remote 可以控制 Front Row 和 iTunes... Thought 2: 我知道 Apple Remote 能控制 Front Row我需要查 Front Row 的开发者。 Action 2: Search[Front Row software] Observation 2: Front Row 是 Apple 开发的... Thought 3: 现在我还需要查 iTunes 的原开发者。 Action 3: Search[iTunes original developer] Observation 3: iTunes 最初由 Jeff Robbin 和 Bill Kincaid 开发... Thought 4: 我现在有了所有信息。 Action 4: Finish[Front Row 和 iTunes。Front Row 由 Apple 开发iTunes 最初由 Jeff Robbin 和 Bill Kincaid 开发。]关键实验结果任务CoT-onlyAct-onlyReActHotpotQA多跳问答29.4%25.7%34.2%FEVER事实验证56.3%58.2%64.1%ALFWorld交互游戏—45%71%WebShop网页购物—62.4%66.6%为什么 ReAct 这么重要定义了 Agent 的基本范式所有后续 Agent 框架LangChain、AutoGPT、Claude都是 ReAct 的变体证明了边想边做比只想不做或只做不想都好可观察性极强Thought 让人能看懂 Agent 为什么这么做便于调试通用性极强问答、推理、交互环境、网页操作都能用ReAct 的局限性2026 视角局限后续解法单步推理缺乏全局规划Plan-then-Execute 范式无法自我纠错Reflexion自我反思 Agent工具调用粒度粗Anthropic Computer Use / MCP上下文越来越长Extended Thinking / Claude Opus 4.7 100K thinking读这篇论文的正确姿势先看 Figure 1ReAct vs CoT vs Act 对比图——30 秒建立直觉重点读 §3ReAct 格式定义——理解 Thought/Action/Observation 的形式化仔细看 §4.1 的例子HotpotQA——最直觉的演示Table 1-3 的实验结果——量化证据§5.2 错误分析——理解 ReAct 在哪里会失败两篇论文的关系Transformer2017 ReAct2022 ↓ ↓ 定义了LLM 怎么思考 定义了LLM 怎么行动 ↓ ↓ GPT/Claude/DeepSeek... LangChain/AutoGPT/Manus... ↓ ↓ ←←← 合在一起 →→→ ↓ 2024-2026: Agent 时代爆发 Claude Computer Use / Agentforce / Devin如果你只读两篇 AI 论文Transformer 让你理解引擎ReAct 让你理解方向盘。引擎方向盘 能跑的 Agent。 延伸阅读Illustrated TransformerJay Alammar — 最佳可视化入门3Blue1Brown: Attention in Transformers — 数学直觉Reflexion: Language Agents with Verbal Reinforcement Learning — ReAct 的自我纠错升级版Anthropic: Building Effective Agents — ReAct 思想在工业界的最终形态路易乔布斯 © 2026 「AI 学习计划」系列第 27 篇 模块 07 论文导读 1/3