Retrieval from Within:An Intrinsic Capability of Attention-Based Models——从内部检索：基于注意力模型的固有特性

这是一篇来自NVIDIA和以色列理工学院的学术论文核心主张是基于注意力的编码器-解码器模型本身就具备检索能力无需外挂独立的检索模块。作者提出了INTRA框架实现了检索与生成的统一。一、研究背景与核心问题现状RAG检索增强生成是当前处理知识密集型任务的主流方案但它将检索器和生成器视为两个独立模块存在以下问题检索器与生成器的表示空间不匹配检索到的文本需要重新编码计算冗余模块分离增加了系统复杂性核心问题能否让一个预训练的编码器-解码器模型从内部完成检索即利用模型自身的交叉注意力机制既做检索又做生成二、INTRA框架的核心思想INTRAINTrinsic Retrieval via Attention的核心设计设计要点具体做法共享表示空间证据块由编码器预编码检索和生成共用这些表示注意力即检索解码器的交叉注意力查询直接用于对证据块评分可学习检索令牌在输入中插入少量可训练令牌引导解码器产生适合检索的查询状态MaxSim评分采用ColBERT风格的后期交互将令牌级匹配聚合为块级得分全语料库评分不限于对初始候选集重排序而是对整个语料库打分关键技术——Reverse-QWKRQWK将原本在编码器端的层特定键投影矩阵移到查询端使所有解码器层可以共享同一套归一化的编码器表示压缩比达约30倍大幅降低存储和计算开销三、实验设置模型T5Gemma2 4B-4B基准HotPotQA、2WikiMultihopQA、MuSiQue多跳、Natural Questions单跳语料库约1亿令牌759K个块对比基线TF-IDF、BM25、BGE、Qwen3-Embedding、Jina重排序器、混合RAG等9种方法四、主要实验结果1. 检索效果完整证据召回率INTRA在多跳基准上显著优于所有基线例如HotPotQA上R5达到59.9%远超BGE的54.8%和BM25的32.2%对NQ单跳优势较小符合预期——单跳问题留给检索组装的空间有限2. 端到端QA效果EM/F1INTRA在多跳基准上全面领先HotPotQA EM达46.4%vs BGE 41.9%MuSiQue EM达14.0%vs BGE 10.8%使用同一T5Gemma2模型做检索和生成时差距闭合度达59.4%远超其他生成器组合3. 效率优势证据预编码一次跨查询重用首个令牌时间TTFT随检索块数增加增长极慢k500时约65ms而标准RAG达1.25s存储1亿令牌的8位量化表示约需2.5TB具备实际可行性五、核心贡献总结概念贡献证明检索可以是注意力模型的内在能力无需外挂模块方法贡献提出INTRA框架及RQWK技术实现统一的检索-生成架构实证贡献在多跳QA上超越强工程化RAG流水线同时获得计算效率提升实践价值消除检索器-生成器表示不匹配降低系统复杂度六、局限性实验限于固定语料库约1亿令牌非开放网络规模仅针对T5Gemma2类编码器-解码器架构未覆盖仅解码器模型存储开销仍大于传统检索索引排除检索时间的效率分析可能低估端到端部署的实际成本论文的核心主张是预训练的编码器-解码器模型通过其交叉注意力机制已经具备了可用于检索的内在能力INTRA框架能够激发这一能力实现统一的检索-生成在多跳QA上达到超越传统RAG的效果同时获得计算效率优势。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示摘要检索增强生成RAG通常将检索和生成视为独立的系统。我们探究一个基于注意力的编码器-解码器是否能够直接从其内部表示中进行检索。我们引入了 INTRA通过注意力进行内在检索INTrinsic Retrieval via Attention框架其中解码器注意力查询对预编码的证据块进行评分然后这些证据块被直接重用为生成的上下文。通过构建INTRA 统一了检索和生成消除了 RAG 流水线中典型的检索器-生成器不匹配问题。这种设计还通过跨查询重用预计算的编码器状态来分摊上下文编码成本。在问答基准测试中INTRA 在证据召回率和端到端答案质量方面均优于强大的工程化检索流水线。我们的结果表明基于注意力的模型已经具备了一种可被激发而非作为外部模块添加的检索机制。1 引言1.1 动机大型语言模型越来越多地应用于这样一种场景回答查询所需的信息相对于完整的可用语料库来说是稀疏的。正是在这种情境下检索增强生成RAG已成为默认设计检索器选择候选证据然后生成器使用这些证据来生成答案 [20]。这种分解是实用的因为将所有可用上下文简单地连接到一个长提示中在计算上非常昂贵而且即使是大上下文模型在相关证据稀疏且分布广泛时仍然很脆弱 [39, 24]。同时这种标准框架鼓励在检索和生成之间进行强架构分离。检索器对索引文本或嵌入进行操作而语言模型仅在选择完成后才消费所选的证据。在实践中这种模块化通常是有帮助的但它可能掩盖一个重要事实注意力已经是一种查询条件下的选择和加权相关信息的机制。这引出了本文的核心问题一个单一的预训练编码器-解码器能否检索到所需证据并用其回答查询更广泛地说RAG 的多少功能可以放在模型内部处理而无需单独的检索器1.2 检索作为一种内在能力我们研究使用固定知识库的问答并探究预训练的编码器-解码器是否能够从其自身的表示空间中检索、优先排序并使用证据。我们的中心假设是预训练的基于注意力的模型在此设置下已经具备内在的检索能力。我们将此机制称为 INTRA通过注意力进行内在检索与其依赖于外部检索器模型通过自身编码器产生的表示来选择证据并生成答案。注意力与检索之间的联系在第 2.2 节中被具体化两者都是对候选状态进行查询条件下的匹配操作。在此框架内INTRA 将解码器的交叉注意力查询转化为块级别的检索得分。这种观点并不意味着注意力机制构成了大规模语料库检索的完整解决方案。相反它表明预训练的编码器-解码器包含了正确的检索接口表达解码器需求的查询状态以及可以被选择并直接消费而无需转换到另一个表示空间的编码证据状态。这种设计有若干实际优势。相同的编码块状态被用于证据选择和答案生成减少了单独训练的检索器与其服务的生成器之间的不匹配。因为这些状态是编码器记忆静态证据可以被编码一次并跨查询重用而不是被反复打包进一个长解码器上下文中。最后检索机制可以通过轻量级的解码器端检索查询来适应而不是通过单独训练的检索器从而减少了对专用检索系统的需求。图 1左图标准 RAG 流水线。外部检索器选择文档然后由解码器重新编码以生成答案。检索和生成在独立的表示空间中操作。右图我们的方法 INTRA使用预训练的冻结编码器-解码器进行检索和生成。解码器通过其交叉注意力查询检索相关块并辅以可学习的检索令牌。检索器和生成器共享表示空间允许跨查询重用预编码的证据。不需要外部检索器。数字表示操作顺序。1.3 贡献我们提出了 INTRA其中单一预训练的编码器-解码器模型使用一个共享的表示空间将证据选择与答案生成耦合起来。我们确定了一个最小的架构方案来展现这种能力直接重用预训练编码器的原生块表示编码器端进行后期交互以执行粗检索解码器端检索查询细化证据而不引入单独的检索器或压缩模型如图 1 所示。我们凭经验证明这种统一的检索-生成设计在多跳 QA 上尤其强大。尽管强大的工程化检索流水线使用了大规模训练数据但它仍能与之一较高下同时为选择和生成利用相同的潜在证据。我们描述了这种设计的计算特征包括当静态证据被编码一次并跨查询重用时出现的可重用上下文机制。2 方法2.1 框架公式化2.2 基于注意力的检索2.3 检索的初始上下文选择3 实践实现我们现在描述将预训练的编码器-解码器注意力模型适配到 INTRA 框架所需的实际更改。我们的实现从 T5Gemma2 [41] 开始并修改了解码器的交叉注意力使得预编码的块状态可以直接重用于检索和生成。3.1 跨层的共享上下文表示3.2 检索训练目标3.3 使用池化块嵌入的近似相似度4 基准测试和实验设置我们在四个基于维基百科的 QA 基准上评估 INTRAHotPotQA [38]、2WikiMultihopQA [12]、MuSiQue [34] 和 Natural Questions [19]。它们共同涵盖了桥接和比较推理、更清晰的两跳证据链、组合上更困难的多跳问题以及单跳开放域 QA。我们在大约 1 亿个令牌的固定预算下为所有四个基准构建了一个共享的检索候选池包含 759K 个块。关于上下文池构建和分割统计的完整细节见附录 E。我们将 INTRA 与九个检索基线进行比较包括稀疏词汇方法TF-IDF [29]、BM25 [28]、稠密单向量模型BGE-large [37]、Qwen3-Embedding-0.6B/4B [42]、重排序Jina 重排序器 [14]、混合 RAGRRF [6]以及 ColBERT 风格的 MaxSim 后期交互基线 [18]详细信息见附录 B.2。对于检索我们报告 k∈{5,10,20} 时的完整证据召回率定义为检索到所有标举证块的示例比例。对于端到端 QA我们取前 5 个检索到的块将它们预编码的 T5Gemma2 表示作为交叉注意力上下文打包并使用 T5Gemma2 模型生成答案报告精确匹配EM和令牌级 F1。所有实验都使用开放检索设置。图 2完整证据召回率检索到所有支持事实的示例百分比。INTRA 在需要证据组装的多跳基准HotPotQA、2Wiki、MuSiQue上表现最佳。NQ 的单跳性质使这种优势最小化。5 结果我们围绕激发本文的三个实证问题来组织结果。首先INTRA 是否提高了完整证据集的检索效果第 5.1 节其次这些收益是否转化为更好的端到端答案质量第 5.2 节第三一旦块表示被重用而不是从原始文本重新编码会出现什么效率优势第 5.3 节5.1 检索结果图 2 报告了在四个评估基准上k∈{5,10,20}的完整证据召回率。完整证据召回率k 是指在 top-kk 结果中检索到所有标注的支持块的示例比例。我们将此指标视为检索质量最清晰的代理因为它奖励恢复完整的支持集而不仅仅是部分支持证据。主要模式是 INTRA 在需要组装多块证据的多跳检索设置HotPotQA、2Wiki、MuSiQue上最强。INTRA 的排序利用了解码器注意力权重这作为答案生成过程信息需求的代理。这种优势在 NQ 上不太明显因为检索通常归结为找到一个直接支持的段落留给解码器引导的证据组装空间较小。附录 C 报告了完整的检索结果。在图 3 中我们还比较了三个 top-5 证据集初始检索集 S0​、由公式 3 中的解码器得分 si​ 重排序的相同初始集以及来自公式 4 的最终 INTRA 集 SINTRA​。结果表明对 S0​ 进行重排序是有益的但全语料库 INTRA 评分通过恢复初始池中不存在的证据产生了最大的收益。5.2 端到端问答结果表 1 评估了 INTRA 的端到端检索和生成行为。我们在保持相同的 T5Gemma2 解码器用于生成的同时改变检索方法报告精确匹配EM和令牌级 F1完整结果见附录 C。INTRA 在多跳基准HotPotQA、2Wiki、MuSiQue上超过了所有基线与第 5.1 节的结果一致。值得注意的是INTRA 的检索信号来自一个仅预训练用于生成的冻结解码器而诸如 BGE 和 Qwen-Embedding 等基线是在大规模检索语料库包括 HotPotQA 和 NQ 作为监督 [33, 42]上为检索预训练的。表 2比较了使用共享解码器进行检索和生成与将 INTRA 检索器与更强的生成器耦合。虽然更强大的生成器通过优越的推理和参数知识可以提升性能但 INTRA 检索通过使证据与解码器的特定注意力模式对齐来增强性能。为了隔离生成器强度的影响我们测量了 INTRA 缩小了随机上下文和完整证据上下文之间 EM 差距的多少5.3 效率结果INTRA 的编码器-解码器设计也带来了直接效率优势。标准 RAG 通常检索文本因此在检索后生成器在解码之前会重新编码选中的块。INTRA 取而代之的是从 K 检索预编码的块并且这些状态作为解码器交叉注意力记忆馈入生成过程。检索和生成产生它们通常的成本但选中的证据在查询时不再被重新编码。表 3 总结了这种计算权衡详细分析见附录 D。此外存储这些表示是可行的因为将以 8 位精度量化的 10 亿令牌语料库存储大约需要 2.5 TB 的存储空间详见附录 A.3。我们在图 4 中的首个令牌时间TTFT基准测试中隔离了这种效应该测试测量了证据被选择后的生成器端成本。随着检索到的块数 k 增加INTRA 的预填充时间仍然很小因为它重用存储的块状态而标准 RAG 则变慢。附录 D.4 提供了设置和进一步的生成吞吐量测量。表 2与 T5Gemma2-INTRA 检索器兼容的生成器。差距闭合度衡量了 INTRA 检索从随机块到完整证据块的 EM 差距中恢复的百分比。在检索和生成之间共享解码器使检索到的证据与生成器的注意力对齐从而缩小了最大的差距。6 相关工作检索增强生成流水线。大多数知识密集型 QA 系统采用模块化的先检索后生成架构。REALM 将检索融入语言模型预训练 [10]而 RA-DIT 随后对检索器和生成器进行指令微调 [23]。DPR 确立了稠密段落检索作为开放域 QA 的强基元 [16]而 RAG 则将检索器与序列到序列生成器耦合 [20]。Atlas [13] 联合预训练检索器和编码器-解码器生成器以优化来自非结构化文本的少样本学习。最近CLaRa [11] 将文档压缩为可检索的潜在向量并联合优化重排序和生成。INTRA 与 CLaRa 的不同之处在于三个方面i它重用模型的原生表示空间ii它执行全语料库评分iii它建立在冻结的编码器-解码器模型之上。多轮智能体 RAG 系统则交替进行推理和重复检索 [21, 1, 31]。INTRA 的目标是可用于此类流水线中的单轮检索模块而非流水线级别的智能体循环本身。后期交互与表示空间检索。我们的检索公式与后期交互系统如 ColBERT [18]、ColBERTv2 [30] 和 ColPali [8]密切相关这些系统通过多向量表示上的 MaxSim 式匹配来比较查询和文档令牌。后期交互系统依赖于专用检索器来评分查询-文档匹配而 INTRA 则让解码器自身的交叉注意力执行此匹配并在生成过程中消费匹配的表示。记忆、潜在检索和统一检索-生成。注意力长期以来被视为基于内容的记忆访问。记忆网络 [32] 将 QA 框架化为可微分查找而 RETRO [4, 36] 则将检索到的块注入模型的计算中。类似地Titans [2] 认为长上下文建模需要显式记忆机制而不是更大的注意力窗口。这种直觉与我们的观点兼容但它们在记忆来源上有所不同Titans 学习记忆而 INTRA 则重用模型在证据池上的激活。长上下文建模与高效序列架构。Transformer 架构在语言建模中的主导地位可主要归因于自注意力它提供了灵活的令牌交互 [35]。然而稠密注意力的二次成本阻碍了长上下文扩展促使人们提出稀疏和线性替代方案 [3, 40, 5, 17]。最近的模型如 Mamba探索了进一步降低上下文处理成本的方法 [9, 7, 25, 22]。然而最近的长上下文基准测试表明仅仅增加窗口大小并不能确保在相关信息稀疏时能稳健地使用证据 [39, 24]。因此我们的目标不是取代长上下文建模而是研究一个必须识别并可靠使用稀疏证据的场景。图 4首个令牌时间与检索到的块数 k 的关系不包括检索时间。INTRA 重用预编码的证据而标准 RAG 在解码前重新编码检索到的文本。7 局限性我们的实验集中于一个固定的上下文池。我们在附录 A.3 中讨论了十亿令牌语料库的实用性但并未将 INTRA 定位为开放网络检索或网络规模设置中 RAG 的替代品。同样虽然我们展示了预训练的编码器-解码器在此机制下表现出强大的检索行为但我们并未证明这种机制能泛化到通用检索器。此外我们专注于一个单一的实现系列具有 Reverse-QWK 的 T5Gemma2 风格编码器-解码器并在短答案文本 QA 基准上进行评估。INTRA 对编码器-解码器交叉注意力的依赖也排除了仅解码器模型。将这些发现扩展到不同规模、模态、动态语料库和架构留待未来工作。系统评估隔离了一种单一机制。第 5.3 节中的 TTFT 排除了检索时间以隔离重新编码与重用的成本。部署成本还取决于索引、存储格式和数据移动而令牌级记忆可能比压缩的检索索引大得多因此端到端的权衡可能与本文分析的不同。8 结论我们的核心结论是概念性的通常外包给单独模块的检索能力可以在编码器-解码器的表示空间内执行。我们引入了 INTRA一个通过激发基于注意力模型的内在检索机制来统一检索和生成的框架。通过为两项任务使用相同的预训练模型INTRA 消除了检索器和生成器之间的表示不匹配。实证上INTRA 在多跳问答基准HotPotQA、2WikiMultihopQA 和 MuSiQue上表现出强劲性能在完整证据召回率和端到端答案质量方面均达到或超过了几种工程化 RAG 流水线的结果。此外这种共享空间公式化可以带来计算优势静态证据可以被编码一次并跨查询重用从而降低预填充成本和生成期间的首个令牌时间。最终这些发现表明基于注意力的编码器-解码器可能为传统模块化 RAG 架构提供一种有前景的统一替代方案。