【Agent智能体8 | 反思设计模式-大语言模型反思机制的四个演进阶段】

声明本篇博客是以吴恩达的【Agent智能体】教程为基础并对其中的内容做了笔记整理以及个人收获的总结。大模型的反思机制跟人类一样有时会反思自己的输出并寻求改进。这篇文章主要是介绍反思机制的演进过程。人类的反思机制Reflection - humans这张图展示了人类在日常工作中是如何运用“反思”的人类写出一封初版邮件发现问题在发送前进行自我检查发现了几个问题“下个月next month”缺乏具体日期。把“free”打成了“fre”。忘记在文末署名。改进经过反思和修改输出了完善后的第二版邮件Email V2总结写初稿→\rightarrow→审查→\rightarrow→修改出终稿这是人类保证工作质量的本能习惯。智能体 AI 的反思机制Reflection - Agentic AI智能体的反思机制也是类似的我们可以将人类的反思机制映射到 AI 大语言模型的工作流中开始给 LLM 下达“写一封邮件”的指令LLM 生成第一版草稿Email V1。反思在传统的应用中V1 会被直接输出给用户。但在智能体工作流中系统会将被放入一个硬编码的反馈循环中要求 LLM “反思并写出改进后的第二版Reflect and write improved second draft”。通过让 LLM 扮演“审查者”的角色对自己的初始输出进行纠错从而输出质量更高的最终版本Email v2。这个例子是把这个流程硬编码下来先提示LLM写一遍再提示它反思和改进。类似的流程也能优化其他类型的输出例子如下用于改进代码的反思Reflection to improve code这个例子展示了反思机制在编程中的具体应用开始要求写一段代码task X第一个 LLM 生成初版代码code V1。反思多模型协作初版代码被送入LLM 2进行审查。图中标注LLM 2 可以是一个不同的模型例如专门针对代码或逻辑训练的推理模型。LLM 2 检查 Bug 并写出改进后的第二版代码do_task_v2。这个例子告诉我们在复杂任务中生成代码和审查代码可以由不同的 AI 模型负责利用“交叉检查”来提升代码的质量不同的LLM有不同的优势要合理利用与其只让LLM反思代码但事实证明外部反馈来自LLM之外的新信息反思的效果会更加强大例子如下结合外部反馈的反思Reflection with external feedback这个图展示了反思机制的最高阶形态——引入真实的外部运行环境开始LLM 写出初版代码code V1后不再仅仅依赖另一个模型去找 Bug而是直接执行代码execute code。获得真实反馈代码运行后会产生实际的输出或报错信息例如图中的SyntaxError: unterminated string literal...语法错误。基于反馈的反思将这些真实的报错信息和初版代码一起交给 LLM。LLM 基于具体的执行错误进行反思从而精准定位并修复问题输出第二版代码。总结一句话通过“实践”来检验真理。这种利用反馈进行的方式比LLM自己反思效果要更好输出的结果质量要更高总结人类本能→\rightarrow→AI 内部自我反思→\rightarrow→多 AI 模型交叉反思→\rightarrow→基于外部真实环境反馈的反思。通过这篇文章我们不能再简单的把大模型当成一个简单的“你问我答”的聊天工具传统的直接生成而是要把它看作一个拥有“反思能力”的智能体Agent。如果这篇文章对你有帮助欢迎点赞、评论、关注、收藏。你们的支持是我前进的动力