当LLM有了“结构化记忆”：ICML 2026论文深度解读《Embodied Task Planning via Graph-Informed Action Generation with Large

把零散的执行碎片编织成图LLM终于在复杂任务规划中不再“胡言乱语”假如你给AI一个指令“把书放到桌子上”。对聊天机器人而言这只是一个文本生成的结束点。但对一个具身AI——一台在现实世界中需要实际移动抓手的机器人——这句话是一连串决策的起点当前书在哪里桌子在哪里我该如何移动手臂如果书被其他物体遮挡我是否应该先挪开它们让LLM为具身智能做任务规划曾经看起来是一条清晰而光明的道路LLM已经表现出卓越的零样本推理能力何不直接用它来生成动作序列但一旦真正尝试研究者们就撞上了一堵无法绕开的墙——LLM在长时程规划long-horizon planning中表现出的策略失序和幻觉状态转移问题让“LLM规划器”几乎成为一个美丽的幻想。北京大学Xiang Li、Ning Yan和Masood Mortazavi在ICML 2026上发表的工作《Embodied Task Planning via Graph-Informed Action Generation with Large Language Models》直接回应了这一困境。他们提出的GiGGraph-in-Graph框架不是让LLM“更大更强”而是给LLM配上一套图结构化的经验记忆系统让LLM在规划时能“回忆”过往的“结构相似”执行片段配合一个有界的向前推演模块实现精确、连贯且计算高效的任务规划。在三个具身规划基准测试上GiG在Pass1指标上分别取得了高达22%、37%和15%的性能提升同时保持了相等或更低的计算开销。一、问题的起点为什么LLM做长程规划总是“顾头不顾尾”1.1 三个核心困境标准的LLM规划器通常采用一种直接生成的工作模式给定一个高层次的指令如“做一顿意面晚餐”LLM被要求直接输出一个低层动作序列如“走到冰箱→打开冰箱→拿出番茄→关冰箱→走到灶台→……。问题随之浮现且几乎无法通过单纯扩大模型规模来解决第一策略连贯性丧失。LLM的上下文窗口有限。当任务横跨几十甚至上百个动作步骤时早期的决策条件和环境状态会被“挤出”上下文窗口。LLM会逐渐“遗忘”自己前面做了什么、为什么这么做进而生成在长期视野下自相矛盾的动作序列。第二状态转移幻觉。这是比策略失序更隐蔽、更致命的缺陷。LLM在文本生成中学会了许多“常识性”的世界知识但它并不真正理解物理世界中的状态约束。它可能会生成这样的动作序列“拿起苹果→把苹果放到盘子里→把盘子里的苹果扔进垃圾桶——然后再从盘子里拿起苹果”。苹果已经被扔掉了却还要再从盘子里拿——这就是典型的“幻觉状态转移”LLM生成了一个在环境物理中根本不成立的动作。第三缺乏结构化记忆。标准的LLM处理文本时使用的是隐式的、非结构化的表征。当它面对新的任务时它无法有组织地检索过去执行过的、在结构上相似的成功案例。每一次规划都像一次“从零开始的即兴写作”——没有范例没有借鉴完全依赖模型内部的知识和图景。1.2 “不够长”和“不够深”都不是根本问题有人可能会问把上下文加长不就行了吗或者用多步推理让LLM“思考更久”不行吗答案是否定的。只延长上下文窗口只会让LLM看到更多历史信息但其利用这些信息的方式仍然是没有结构的、线性的。LLM在长序列中捕捉长期依赖的能力是有限的而且这种扩展带来的计算开销是巨大的。至于“思考更久”——更复杂的链式推理可能让LLM在错误的方向上推理得更深而不是产出更可靠的规划。真正的瓶颈是记忆的组织形式而不是记忆的长度。GiG正是抓住了这一本质它不给LLM更长的记忆而是给LLM一个结构化、可检索的经验记忆库外加一个受控的局部前向推演模块让LLM规划兼具回溯与前瞻。1.3 同期研究中的横向参照在ICML 2026同期LLM规划能力的增强已经成为多智能体系统和通用具身智能领域的共性焦点。例如同年发表的GRAFT采用“图标记化”方法将工具依赖关系内化到LLM的参数空间中GraSP利用图结构技能组合实现了在ALFWorld等任务上奖励最高提升19点且环境步数减少4倍的突破而GraphPlanner则在多智能体路由中以图记忆增强了代理间协同能力。这些同期工作在“图”与“LLM规划”的交叉点上各有所长而GiG的核心差异化在于它不修改LLM本身而是在LLM之外建立了一套图‑图双层的经验记忆架构将执行轨迹编码为可检索的图结构再以检索增强的方式为LLM提供高质量的先验——这一路径在工程部署上更具模块化优势也更能保持LLM的通用性。二、方法的奥秘GiG如何用“图之图”重塑LLM的规划心智GiG的核心思想可以概括为不要求LLM记住每一个动作而是要求它学会“调用”过去的经验结构。为此GiG设计了三个层层递进的核心组件Graph‑in‑Graph记忆架构、结构感知记忆检索和有界前瞻推演。2.1 基础单元GNN状态编码任何记忆系统都需要回答同一个问题如何表示一个“状态”在一个具身环境中状态包含的信息量是巨大的——物体的位置、机器人的关节角度、空间中各物体的相互关系……直接把这些原始数据塞给LLM是不可行的也不符合结构化解构的设计理念。GiG的做法是先用一个图神经网络GNN将环境状态编码成紧凑的嵌入向量。GNN擅长捕捉图结构数据中的局部和全局依赖关系它可以将一个复杂的物理状态压缩为一个富含语义信息的高维嵌入为后续的所有图操作提供一个“最小单元”。2.2 第一层图执行迹图——记忆的“主干”有了状态的嵌入表示GiG就在这些嵌入的基础上构建第一层结构执行迹图。执行迹图是一个有向图其中节点是GNN编码的环境状态嵌入边是基于动作建立的状态转移连接。每条边代表一个可执行的动作将某个状态转化为另一个状态。这听起来或许有些抽象但用一个生活化的比喻就很容易理解想象你在一个陌生的厨房里第一次做饭。你每完成一个动作比如“打开冰箱”就可以在脑海中记下一张“状态卡”“冰箱前位置 冰箱原本关闭 → 打开冰箱”下一个动作比如“拿出番茄”之后再记一张卡“冰箱打开状态 番茄在第二层 → 番茄现在在手上”。这些卡牌按照动作的先后顺序彼此相连就形成了一条“执行迹”——一条从任务开始到完成的完整状态变化路径。GiG所做的是把所有这些执行迹——来自以往成功规划和执行的各种任务——全部存进一个经验记忆库中并在需要时按结构相似性被检索出来。2.3 第二层图图之图——让LLM看见“森林”执行迹图已经相当有用了但GiG更进一步把它们组织成一个更大的、由“图组成的图”——Graph‑in‑Graph架构。为什么需要第二层图因为执行迹图的数量会随着任务的累积而变得非常庞大。如果LLM在每次规划时都需要扫描整个记忆库中的所有执行迹图计算开销将是巨大的。Graph‑in‑Graph的构思是不只是将单个执行迹图看作一个整体还对这些图进行聚类。通过对图嵌入的聚类系统自动将结构相似的执行迹图归入同一类别。这样一来当新的规划任务到来时系统首先定位到最相关的图聚类——即“结构化相似先验”——然后从该聚类中检索最匹配的记忆图高效精准地调取过去的经验模式。用烹饪的例子来比喻如果你要做一个新菜——“奶油蘑菇汤”GiG不会要求LLM去翻阅记忆中所有做菜的完整记录。它会把过去所有的“汤类”菜谱的执行迹图聚合在一起一个结构相似的图聚类从中检索出最相关的记忆片段把当前状态与这些过去结构相似的成功执行片段对齐grounding让LLM在做决策时有据可依。这种“从图聚类中检索”的设计让GiG在保持检索质量的同时显著提升了运行时效率。2.4 让LLM不只回忆还要“预演”有界前瞻模块记忆与检索解决了“回溯”问题——如何从过去经验中借鉴。但好的规划还需要一种“前瞻”能力在决定当前行动之前先想想这一步会导致什么结果。这就是有界前瞻模块的职责所在。有界前瞻模块的核心思想并不复杂在LLM生成一个动作候选之后系统利用一个符号化状态转移逻辑symbolic transition logic在有限的步数内模拟执行该动作后的环境状态演化。这个模拟是“轻量级”和“有界”的——它不会无限推演下去而是在一个预定义的前瞻深度内检查动作序列是否仍然满足环境约束、是否会导致逻辑矛盾。如果前瞻过程中发现某一分支触碰了环境限制比如“苹果已被扔掉但后面还要拿它”该候选动作就会被否决或调整。两个模块的结合——通过GNN和图结构记忆进行回溯再通过有界前瞻进行前向验证——形成了GiG的完整规划逻辑。LLM不再是凭空“讲道理”而是站在经验的地基上向着符号逻辑照亮的前方迈步。2.5 一个边界的澄清规划vs执行值得注意的是GiG目前聚焦在规划层而非执行层。也就是说GiG生成的是语义动作序列如“抓取方块A → 移动到位置B → 放下方块A”而不是底层电机控制信号或关节角度指令。这与前两期解读的Embodied VideoAgent和Human2Sim2Robot形成了清晰的分工——前者做的是场景记忆与目标理解后者做的是技能学习与底层策略而GiG填补的是高层任务分解与动作序列生成的中间层缺口。三者加在一起构成了“感知—理解—规划—执行”的完整链条。三、实验的答卷GiG真的在“做事”而不只是“说事”3.1 三个基准每项都值得细看GiG在三个具身规划基准上进行了系统评估Robotouille Synchronous一个模拟厨房环境要求机器人同步处理多个任务如同时煮汤和煎牛排。任务间存在严格的时序依赖和资源约束。同步模式意味着所有动作按明确的顺序依次发生考验规划器对精确时序逻辑的把握。Robotouille Asynchronous同一套厨房环境但切换到异步模式——多个子任务可以并行推进机器人需要在不完全时间信息下管理资源冲突。这是更具挑战性的规划基准也是最能区分一般规划器与高级规划器的试金石。ALFWorld一个广泛使用的文本‑物理环境将“文本指令”与“物理模拟世界”相结合。任务涉及家庭场景中的多步导航、拾取、放置等操作是评估LLM规划器泛化能力的标准测试平台。在这三个难度递增的基准上GiG均取得了对基线方法的全面超越。3.2 让人眼前一亮的性能提升GiG所使用的评估指标是Pass1——规划器首先生成的动作序列成功完成任务的概率。这是一个非常严格的标准它不允许规划器通过尝试多种可能路径来“蒙对”。简单的对比方法如下标准LLM规划器直接以LLM生成低层动作序列无明显记忆辅助。RAPLLM推理行动规划器引入更复杂的多步推理但依然缺乏结构化记忆。GiG在这些基线上的性能增益如下Robotouille SynchronousPass1提升22%。在具有严格次序依赖的规划任务中22%的提升意味着从“勉强可用”到“可靠可用”的跨越。Robotouille AsynchronousPass1提升37%。这是GiG最耀眼的成绩——37%的绝对增益验证了Graph‑in‑Graph记忆架构在处理状态不确定性、部分可观测性以及并行约束时的巨大优势。ALFWorldPass1提升15%。15%的增益虽然绝对值不及异步任务但在一个已被众多LLM规划研究反复挖掘的成熟基准上这一提升代表着真实有效的突破。更值得关注的是上述增益是在与基线方法相当或更低的计算开销下实现的。在许多AI领域性能提升往往是以数倍乃至数十倍的计算代价换取——但GiG提供了“既要又要”的可能更好的规划质量 不增加甚至减少计算负担。3.3 从数据到视野的扩展除了标准基准作者还探讨了GiG在更大视野规划longer-horizon planning中的潜力当任务长度从几十个动作扩展到超过一百个动作时基线LLM规划器普遍出现严重的性能衰减而GiG通过结构化记忆检索和有界前瞻的协同作用性能曲线下降得更为平缓。四、创新的价值GiG为LLM规划带来了什么样的范式转折4.1 规划器的记忆从“隐式”到“显式”在GiG出现之前为LLM引入记忆的主要方式是隐式的——“让LLM在上下文中记住更多东西”或者“用向量数据库做简单的语义检索”。GiG是少有的、明确提出将执行轨迹显式建模为图结构、并将其组织为“图之图”的系统。这种处理方式带来了一种根本性的观念转变规划的质量不仅取决于推理引擎的能力更取决于记忆的组织方式。结构化记忆——将过去经验编码为可检索、可聚类、可比对的图—结构——是LLM走出“规划幻觉”泥潭的可靠出路。4.2 检索增强规划从“相关”到“结构相似”一般的检索增强生成RAG方法只考虑语义相似性——检索与当前查询文本最接近的文档片段。GiG引入的结构相似性检索是一个更精细的维度它检索的不是语义相近的文本而是图结构上相近的执行轨迹。两个任务可能在文本描述上相去甚远例如“切番茄”和“切洋葱”但在执行轨迹的图结构上可能高度相似都是“抓取物体A → 移动到切割区域 → 执行切割操作 → 完成”。这种“穿越语义、直达结构”的检索能力赋予GiG跨任务的泛化迁移能力这正是LLM规划器最稀缺的品质之一。4.3 前瞻验证从“向前看”到“往前推演”在前几代LLM规划器中“前瞻”通常意味着LLM通过思维链Chain-of-Thought在文本空间中“想象”后续动作——但这种方法仍然可能沿幻觉的方向越走越远。GiG的有界前瞻模块使用的是符号化状态转移逻辑是一种确定性的、符合环境约束的模拟推演。这相当于给LLM的“想象”加装了一副轻量、可靠的“防火墙”只在逻辑允许的范围内进行推演。4.4 工程部署的友好性GiG保持了LLM作为通用规划器的“主干”地位并未对其进行微调或篡改其内部参数。增强体现在LLM之外的一个可插拔的记忆与推演模块上。这种设计意味着LLM自身的通用性不受损害可以随时替换为更新、更强的LLM版本Graph‑in‑Graph记忆系统可以独立优化、更新、扩展计算成本可控有界前瞻限制了推演深度聚类检索避免了全局搜索。五、未来的追问图结构记忆将把具身智能引向何方5.1 从纯规划到规划‑执行闭环GiG目前聚焦于规划层假设规划生成的语义动作序列后续可以被执行层无缝转化为物理动作。但在真实部署中规划与执行之间存在巨大的交互鸿沟计划中的“抓取杯子”在执行时可能因为杯子的实际材质、握持位置或物体的意外移动而失败。将GiG的图结构记忆与一个执行‑感知循环对接——在执行动作后获得新的感知状态、更新记忆库、重新调用规划器——是通往“闭环规划‑执行”的重要一步。5.2 从封闭域图结构到开放世界图构建当前GiG的执行迹图是在给定环境和任务集中构建的。在更开放的部署场景中如何让机器人自动从连续的生活流中构建、更新、维护自己的图结构记忆库仍是一个开放性问题。这涉及无监督的图学习、逐步累积的经验管理以及遗忘/压缩机制——与此前解读的Embodied VideoAgent中的持久对象记忆有异曲同工之处但更偏重于动作‑状态的时序逻辑层面。5.3 从状态‑动作图到更丰富的结构表征当前的执行迹图中的节点是基于GNN编码的状态嵌入边代表动作引起的状态转移。未来可以考虑在图中引入更多维度的信息——包括物理约束如“杯子不能穿过墙壁”、执行代价如“移动手臂1米比移动10厘米更耗费能量”、以及多智能体交互如“两个机器人共同搬运一个物体时的状态依赖”——让图结构承载更丰富的决策信息。5.4 从LLM规划器到多模态LLM/VLM规划器GiG的设计当前是纯语言‑状态层面的。但真实的具身任务离不开视觉感知——机器人需要从图像中理解物体的位置、状态和空间关系。将GiG的图结构记忆与多模态大模型如GPT‑4o、LLaVA等相结合形成一个能够看图‑记图‑规划的完整系统是极具前景的学术前沿。同期工作如MomaGraph已经在探讨如何用VLM生成面向任务规划的图表示这为GiG的视觉化扩展提供了技术路径参考。5.5 从模拟基准到真实机器人Robotouille和ALFWorld是高质量的模拟基准但最终的验证必须在真实物理机器人上进行。真实环境中的感知噪声、执行误差、物体变形等不确定因素对规划器的鲁棒性提出了远远超出模拟环境的要求。将GiG与真实机器人平台对接并应对这些长尾不确定性是实现“实验室到生活”的最后一道门。六、一句朴素但深刻的提醒GiG这项研究的核心启示或许可以用一句看似普通的话来概括让LLM知道自己在做什么比让它记住所有细节更重要。结构化记忆——将过去的执行经验转化为可检索、可聚类、可比较的图结构——赋予了LLM规划器一种超越“文本内记忆”的智慧。它不是让LLM更大而是让LLM更有条理不是增加它的输入量而是改善它的思维路径。在LLM能力持续增长的今天单纯把LLM当成“万能规划器”的局限性已经越来越清晰。真正的突破不在于模型规模的无限堆叠而在于如何将LLM的生成能力与结构化的经验记忆、符号化的约束验证有机融合。GiG是这条道路上一次坚实而优雅的探索为后续的工作提供了一个值得深入扩展的起点。关键信息速览维度内容论文标题Embodied Task Planning via Graph-Informed Action Generation with Large Language Models作者Xiang Li, Ning Yan, Masood Mortazavi发表ICML 2026框架名称GiG (Graph‑in‑Graph)核心架构GNN状态编码 → 执行迹图 → 图聚类检索Graph‑in‑Graph → 有界前瞻符号推演三大基准Robotouille Synchronous, Robotouille Asynchronous, ALFWorld核心结果Pass1 提升同步任务22%异步任务37%ALFWorld15%计算成本 ≤ 基线创新贡献LLM规划的结构化记忆、“图之图”检索框架、有界前瞻符号验证、无需LLM微调项目链接见论文注释arXiv:2601.21841v3 [cs.CL] / ICML 2026当你说“帮我做个早餐”你并不需要AI记住世界上每一条做早餐的步骤。你只需要它回想上一次做煎蛋的轮廓在对眼前食材和锅具的快速审视中规划出此刻最合理的一串动作——人类是这样规划AI也可以。GiG提供的正是这样一套框架不在参数中写满一切而在经验之上编织结构图与图相连让LLM规划器稳步走向复杂、动态的真实世界。