约翰内斯·开普勒大学找到了让AI“用更少记忆思考得同样好“的方法

这项由奥地利约翰内斯·开普勒大学与NXAI公司联合开展的研究于2026年7月6日以预印本形式发布论文编号为arXiv:2607.05061。有兴趣深入了解技术细节的读者可以通过该编号查询完整论文。当你和一位朋友聊了很久之后你的大脑并不会把每一句话都原封不动地存在脑子里。它会悄悄地做一件事把不重要的话过滤掉只把那些真正影响后续理解的关键信息留下来。你能做到这一点是因为你的大脑天生就擅长判断哪些话值得记住哪些话可以忘掉。然而当今最先进的人工智能语言模型却没有这种能力。它们的工作方式更像是一个强迫症患者——必须把读过的每一个字、每一个词都完整地存在一个巨大的便条本里才能保证之后回答问题时不遗漏任何信息。这个便条本在专业上被称为KV缓存而它的问题在于文章越长便条本越大最终大到机器的内存根本装不下速度也慢得令人难以接受。这个研究团队想解决的正是这个让AI工程师头疼已久的问题能不能教会AI像人类一样提前预判哪些记忆是未来有用的然后主动把没用的便条扔掉同时又保证回答质量几乎不打折扣他们给出了一个名叫KVpop的解决方案实验结果表明在把便条本压缩掉88%的情况下AI的数学推理能力依然保留了原来的97%到100%。一、为什么AI的便条本会成为大麻烦以烹饪作为贯穿全文的理解框架整件事会更容易理清。把AI生成文字的过程比作一位厨师在厨房里按食谱一步步烹饪。每次厨师要决定下一个动作时他需要回忆之前做过的每一个步骤于是他把所有步骤都写在小纸条上贴满了整张桌子。菜谱越长纸条越多桌子越来越小最后连锅都放不下了。这就是当前AI在处理长文本时的处境。每生成一个新词模型都需要回顾此前所有词的键值对信息也就是那张贴满纸条的桌子。这张桌子的大小和文本长度成正比数学上叫做线性增长。当文本长达几万字甚至十几万字时这张桌子会占满机器大量的显存同时也会让每一步生成都变得越来越慢。现有的一些解决方案相当于告诉厨师只保留最近几张纸条但这样一来厨师可能会忘记两小时前放入的某种香料导致最后的菜口味全错。也有人尝试根据某张纸条看起来重要与否来决定扔不扔但问题是厨师在做第三步时觉得不重要的东西到了第二十步可能突然变得至关重要。凭当下的感觉判断未来的价值这种做法本质上是在猜测不够可靠。KVpop团队意识到真正的突破口在于与其猜测哪张纸条现在看起来有用不如训练AI学会预判哪张纸条未来会被用到。这是一个根本性的思路转变从被动评估转向主动预测。二、KVpop是如何训练AI预判未来的回到厨房的比喻。KVpop做的事相当于给厨师专门开了一堂培训课。在这堂课里老师也就是一个全记忆的参照AI会亲自演示在整道菜做完之后回过头来标记出哪些纸条在后续步骤中被真正用到了、被用到了多少次。这个标记结果被称为未来注意力目标是一种客观衡量这张纸条对后续有多大价值的指标。学员厨师也就是经过压缩训练的AI的任务就是在做每一步之前根据纸条上的内容预测它将来会不会被用到并且对这张纸条打一个分数。最终得分高的纸条被保留得分低的被丢弃桌子始终保持在一个固定大小以内这个大小称为固定预算。具体来说KVpop为每个注意力头可以理解为厨师的不同感官——视觉、嗅觉、味觉分别负责不同方面的信息设计了一个轻量级打分模块。这个打分模块不参与主菜谱的烹饪它只是悄悄地旁观并打分。桌子上永远有三类纸条不会被丢掉最开始写下的几张基础纸条称为沉没词元负责锁定上下文的基本框架最近写下的一摞新鲜纸条受保护的滑动窗口因为刚写完的东西十有八九马上就会用到以及打分最高的那一批历史重要纸条长程top-k预算。除此之外的所有旧纸条都会被清扫出桌面。这个设计让整张桌子的大小变成了一个固定的数字基础纸条数量加上窗口大小再加上高分保留的历史纸条数。无论文本有多长桌子的大小始终如一内存消耗因此变得可以预测和控制。三、计算未来价值这件事有多难以及如何巧妙绕开现在遇到一个现实问题要知道哪张纸条未来会被用到多少理论上需要先把整道菜做完再回头统计。但训练的时候这道菜本身就是一道很长的文章如果要把所有词对所有词之间的注意力关系全部算出来那会产生一张极其庞大的矩阵大到显存根本放不下。研究团队用了一个非常聪明的技巧来绕开这个问题他们把这个技巧称为转置注意力。可以这样理解正常情况下厨师是站在当前步骤这个位置向前看之前所有的纸条问哪张纸条对我现在有帮助。而转置注意力做的是把这个方向颠倒过来让每一张纸条反过来问未来有哪些步骤会用到我。两个问题本质上用到的数学运算是一样的只是输入和输出的角色互换了一下。更妙的是AI在正常做推理的过程中已经会自动计算一个叫做归一化因子的中间数值。这个数值就像厨师在脑子里记住的当前步骤一共参考了多少张纸条。研究团队发现可以直接复用这个已经算好的数值来完成转置方向的计算根本不需要额外跑一个完整的注意力计算过程。这样一来整个未来价值的估算几乎是免费的——在训练时稍微多做一步计算在实际使用时完全不产生任何额外负担。四、两种打分模块简单的和聪明的打分模块的设计KVpop提供了两种选择就像厨房里可以用普通菜刀也可以用电动切菜机各有适用场景。第一种叫做无状态打分器用的是一个简单的两层神经网络。它的工作方式非常直接拿起一张纸条看看上面写了什么然后打个分。这种打分器又快又便宜缺点是它只能看纸条本身的内容不知道这张纸条写下之后又发生了什么。第二种叫做有状态打分器使用了一种叫做mLSTM的记忆结构这是一种具备工作记忆的网络单元灵感来自人类大脑处理序列信息的方式。这种打分器的厉害之处在于它不急于在纸条刚写下来的时候就打分。它会先把纸条放在受保护的新鲜纸条区里缓一缓同时继续观察后续发展等到这张纸条即将离开受保护区、面临留还是扔的判决时打分器才综合了此后积累的所有上下文信息做出一个更加知情的决定。这个设计的关键点在于打分器不是在纸条刚写下时就被迫给出判断而是等到掌握了更多线索之后才发表意见。就好像一个厦门侦探不会在案发第一分钟就认定嫌疑人而是等收集完现场所有证据再下结论。实验证明这种延迟打分的策略确实有效相比立即打分的版本它在词语预测准确率上高出了0.2个百分点——听起来不多但在如此大规模的模型上这是一个相当显著的提升。更重要的是这种做法与此前已有的类似方法如DMS一种同样使用保护窗口的方法有本质区别。DMS虽然也有保护窗口但它在纸条进入窗口的那一刻就已经做出了去留决定只是把执行驱逐这个动作推迟了而已。KVpop的延迟打分则是真正地推迟了做决定这个行为本身让决策可以利用此后积累的信息这是独一无二的做法。五、训练策略只盯着最关键的那一道选择题KVpop的训练方式也非常有针对性。与其让打分器对所有纸条都进行精确排序研究团队的思路是只关注那道刚刚好踩在去留边界上的选择题。每当一张纸条从受保护区里走出来面临第一次去留判决时当前高分纸条里排名最末的那张纸条相当于最后一个保住席位的选手就会被拿出来作为参照。评判标准只有一个新出来的这张纸条打分应该比末位选手高代表应该保留还是低代表应该被淘汰损失函数可以理解为对打分器打出错误答案时的惩罚力度只针对这一对比较打分而不是对所有纸条全部进行精确排序。这样做的好处是极为高效每次训练只需要看两张纸条的对比不需要处理整个长列表计算代价极低但训练信号又非常精准因为它直接对应了真实推理时这张纸条究竟能不能挤进名额这个实际决策。六、实验结果压缩88%还能保住几乎所有能力研究团队在两个不同规模的大模型上测试了KVpop的效果分别是参数量约40亿的Qwen3-4B和约80亿的Qwen3-8B。测试用的是数学竞赛题包括AIME美国数学邀请赛公认为极具挑战性的高中数学竞赛以及HMMT哈佛-麻省理工数学锦标赛的题目用以衡量模型在高难度数学推理上的表现。压缩幅度分为两档75%压缩桌面上只保留原来四分之一的纸条和88%压缩只保留原来八分之一。在75%压缩下KVpop在Qwen3-4B上保留了完整模型98%的得分在Qwen3-8B上也达到100%。换句话说把桌面缩小到原来四分之一模型的数学推理能力几乎完全没有受损。对照组中最简单的传统方法StreamingLLM只保住了76%另一个常用方法TOVA仅保住了73%而近年来颇受关注的学习型方法DMS保住了96%。在更激进的88%压缩下两个对照方法StreamingLLM和TOVA直接崩溃得分下滑到只剩19%到58%已经不具备实用价值。StreamingLLM的训练版StreamingLLM回血到74%DMS达到84%到89%。KVpop则在Qwen3-4B上保住了97%在Qwen3-8B上惊人地保住了100%——在只剩八分之一记忆容量的情况下80亿参数的模型与完整模型得分持平。研究团队还检验了一个重要问题这套策略只是在数学题上管用还是真的学到了通用的哪些信息值得记住的判断能力为此他们把仅在数学推理数据上训练好的KVpop直接拿去测试科学推理GPQA Diamond一个研究生级别的综合科学问答测试和代码生成LiveCodeBench。结果显示KVpop在这两个完全不同领域的任务上同样与完整模型保持了几乎相同的表现。这说明打分器学到的并不是数学专用技能而是一套更普遍适用的未来注意力预判能力。七、速度和内存KVpop在实际使用中的表现除了准确率研究团队还测量了实际运行时的速度和内存占用让纸面上的数字落地为工程上的实际收益。测试在单张显卡上进行生成长度从1.6万字一直拉到13万字。完整模型的显存占用随文本变长而线性攀升从16万字时的18GB一路涨到13万字时的36GB几乎翻了一倍而且速度越来越慢。KVpop和对照方法DMS的显存占用都只增长了19%左右到13万字时仍然停留在约19GB因为桌面大小恒定不随文本变长。在速度上KVpop比DMS更快。原因在于KVpop对每一个注意力头都强制执行相同的固定预算导致每个头保留的纸条数量完全一样GPU在并行处理时效率极高。而DMS采用的是动态门控机制每个头保留的数量各不相同就像厨房里不同厨师的桌子大小参差不齐统一管理起来格外麻烦反而拖慢了整体节奏。八、AI学到了什么样的遗忘规律研究团队还对KVpop的决策行为做了一次有趣的解剖看看它到底学到了什么样的信息筛选模式。他们从数学推理序列中随机抽取了一段可视化出每个注意力头在每一层网络中保留了哪些词。结果显示出一种非常有规律的模式纯粹的数字比如154000、37之类的计算中间结果被抛弃的频率明显更高而那些具有推理结构意义的词——比如表示因果关系的Thus因此、表示操作的divides整除、表示等价的等号——则被更多注意力头跨更多层网络保留了下来。这个规律非常符合直觉一道数学题做完第五步之后第三步计算出来的具体数字可能已经失去独立价值但当时用来推进推理的逻辑词汇往往对后续步骤依然具有参考意义。KVpop自主发现了这一规律而没有人明确告诉它逻辑词比数字重要。此外研究团队还测量了KVpop的打分器与全知老师的一致程度在75%压缩设置下打分器保留的高分纸条有81%与老师认为应该保留的纸条重合。这个数字意味着打分器做出的去留决定有超过八成与理想答案吻合说明这套预测机制确实学到了有效的判断标准而非随机行为。九、与其他方法的本质区别在哪里把KVpop和同类方法放在一起比较会发现它的独特之处在两个层面上同时成立。与纯启发式方法如StreamingLLM或TOVA相比KVpop的优势在于它通过训练适应了压缩推理这件事本身。传统方法只是机械地执行一个固定规则在规则恰好失效的场景下毫无应对能力。KVpop则通过在数学推理数据上的微调让整个模型习惯了只看部分纸条思考这件事填补了信息缺失带来的模型能力落差。与另一个学习型方法DMS相比KVpop的优势在于监督信号更直接。DMS的训练方式是通过一种称为Gumbel-sigmoid的技巧让去留决定在训练时可以近似求导但这个训练信号并不直接对应未来会不会被用到这件事。KVpop则用真实的未来注意力质量作为监督信号打分器学到的目标与实际推理时纸条的真实价值直接挂钩。这个差异在88%的极端压缩设置下体现得最为明显DMS的得分下滑幅度明显大于KVpop。说到底KVpop做的事情可以用一句话概括它教会了AI在读完一段话之后不是把所有字都死记硬背而是学会了和人类一样只记住那些将来真的会用到的内容。这项研究的价值不只是让某几道数学题的得分好看一些。它指向的是一个更宏观的方向随着AI模型被要求处理的文本越来越长小说、法律文书、长篇代码、科学论文……如何在有限的硬件资源下维持推理质量将成为决定AI能不能真正普及落地的关键瓶颈之一。KVpop提供的这套预测性遗忘框架或许会成为解决这个瓶颈的重要工具之一。研究团队也坦诚地指出了当前的局限mLSTM打分器虽然效果好但它毕竟是一种特定的架构还有其他记忆结构值得探索。此外每个注意力头都强制使用相同的固定预算虽然带来了执行效率但如果允许不同层、不同头使用不同的预算或许能进一步提升性价比。这些都是未来值得继续深挖的方向。对这套方法的完整细节感兴趣的读者可以通过论文编号arXiv:2607.05061查询全文相关训练好的模型也已经在模型社区公开发布代号为Qwen3-8B-KVpop-4x供研究者自行下载和测试。QAQ1KV缓存是什么为什么它会拖慢AI的速度AKV缓存是AI语言模型在生成文字时用来存储历史信息的便条本让模型无需重新计算就能回顾之前所有的词。问题在于便条本的大小和文本长度成正比文章越长占用的显存越多每一步生成也越慢最终成为限制AI处理长文本的核心瓶颈。Q2KVpop和DMS这两种方法有什么区别A两者都是通过训练来决定哪些历史信息可以丢弃但核心监督信号不同。DMS用一种数学近似技巧来训练去留决策而KVpop直接用这段信息在未来被注意力实际用到了多少作为训练目标监督信号更贴近真实使用场景在高压缩率下效果更优。Q3KVpop在数学数据上训练能用到代码生成等其他任务吗A可以。研究团队测试了仅在数学推理数据上训练的KVpop在科学问答和代码生成任务上的表现结果显示与未压缩的完整模型保持了几乎相同的准确率说明KVpop学到了通用的信息筛选能力而非仅适用于数学场景的专项技能。