[MAF的Agent管道详解-05]对话历史的持久化和输入输出的增强

ChatClientAgent自身是对IChatClient对象的封装后者提供了与LLM交互的能力。在不考虑LLM自身差异的前提下LLM响应内容的质量和准确性取决于作为输入提供给LLM的消息列表和配置选项如果能否提供一种灵活的机制动态地定制输入给LLM的消息列表和配置选项无疑是非常有价值的。另一方面LLM返回的结果往往也需要经过一些定制化的处理才能满足我们的需求如果上述的这种机制还能对LLM返回的结果进行定制化处理那就更加完美了。其实这个机制就实现在ChatClientAgent自身的类型定义上它位于ChatClientAgent管道中间部分。如上图所示这部分主要涉及ChatHistoryProvider和AIContextProvider两个核心组件。前者用于提供和存储基于Session的对话历史后者可以视为中间件的另一种定义方式AIContextProvider定义了两个分别在调用IChatClient前后执行的方法(InvokingAsync和InvokedAsync)前者用来定制传入IChatClient的消息列表和配置选项后者用来对返回的结果实施再加工。1. ChatHistoryProvider当ChatClientAgent以Session的方式被调用时需要利用ChatHistoryProvider来获取和存储对话历史。ChatHistoryProvider定义了InvokingAsync和InvokedAsync两个方法前者在调用IChatClient之前被调用后者在调用IChatClient之后被调用。publicabstractclassChatHistoryProvider{publicValueTaskIEnumerableChatMessageInvokingAsync(InvokingContextcontext,CancellationTokencancellationTokendefault);publicValueTaskInvokedAsync(InvokedContextcontext,CancellationTokencancellationTokendefault)InvokedCoreAsync(context,cancellationToken);}两个方法都接受一个上下文对象作为其参数对应的类型InvokingContext和InvokedContext以嵌套的方式定义在ChatHistoryProvider中。publicabstractclassChatHistoryProvider{publicsealedclassInvokingContext{publicAIAgentAgent{get;}publicAgentSession?Session{get;}publicIEnumerableChatMessageRequestMessages{get;set;}}publicsealedclassInvokedContext{publicAIAgentAgent{get;}publicAgentSession?Session{get;}publicIEnumerableChatMessageRequestMessages{get;}publicIEnumerableChatMessage?ResponseMessages{get;}publicException?InvokeException{get;}}上下文数据成员说明如下Agent当前调用的AIAgent实例Session当前调用的AgentSession实例如果当前调用不是基于Session的调用则该属性为nullRequestMessages当前调用提供的请求消息列表在InvokingContext中它是一个可读写属性在InvokedContext中它是一个只读属性ResponseMessages当前调用得到的响应消息列表在InvokingContext中不存在在InvokedContext中它是一个只读属性如果当前调用过程中发生了异常或者LLM没有返回任何响应消息则该属性为nullInvokeException当前调用过程中发生的异常在InvokingContext中不存在在InvokedContext中它是一个只读属性如果当前调用过程中没有发生异常则该属性为nullChatHistoryProvider的InvokingAsync和InvokedAsync方法默认会直接点调用InvokingCoreAsync和InvokedCoreAsync方法。ChatHistoryProvider的构造函数还可以提供三个消息过滤器并且定义了一个用于提供原始对话历史的ProvideChatHistoryAsync方法以及用于存储对话历史的StoreChatHistoryAsync方法这些方法都是虚方法我们可以通过重写这些方法来实现自定义的对话历史获取和存储逻辑。publicabstractclassChatHistoryProvider{protectedChatHistoryProvider(FuncIEnumerableChatMessage,IEnumerableChatMessage?provideOutputMessageFilternull,FuncIEnumerableChatMessage,IEnumerableChatMessage?storeInputRequestMessageFilternull,FuncIEnumerableChatMessage,IEnumerableChatMessage?storeInputResponseMessageFilternull);protectedvirtualasyncValueTaskIEnumerableChatMessageInvokingCoreAsync(InvokingContextcontext,CancellationTokencancellationTokendefault);protectedvirtualValueTaskIEnumerableChatMessageProvideChatHistoryAsync(InvokingContextcontext,CancellationTokencancellationTokendefault);protectedvirtualValueTaskInvokedCoreAsync(InvokedContextcontext,CancellationTokencancellationTokendefault);}protectedvirtualValueTaskStoreChatHistoryAsync(InvokedContextcontext,CancellationTokencancellationTokendefault);}InvokingCoreAsync方法以如下的方法提供对话历史调用ProvideChatHistoryAsync方法来获取对话历史消息列表如果构造函数提供了provideOutputMessageFilter过滤器则调用该过滤器来过滤获取到的对话历史消息列表将消息来源设置为ChatHistoryProvider表示消息来源于ChatHistoryProvider提供的对话历史InvokedCoreAsync方法以如下的方法存储对话历史如果调用过程中发生了异常通过InvokedContext的InvokeException属性判断则直接返回不执行任何存储操作如果构造函数提供了storeInputRequestMessageFilter过滤器则调用该过滤器来过滤传入的请求消息列表否则默认过滤掉来源于ChatHistoryProvider的消息以避免将ChatHistoryProvider提供的请求消息再次保存一遍如果构造函数提供了storeInputResponseMessageFilter过滤器则调用该过滤器来过滤传入的响应消息列表根据过滤后的请求消息列表和响应消息列表创建一个新的InvokedContext对象并调用StoreChatHistoryAsync方法来存储对话历史根据上述的调用流程可以看出在大部分场景下自定义的ChatHistoryProvider只需要重写ProvideChatHistoryAsync和StoreChatHistoryAsync方法实现对话历史的加载和存储就可以了。为了避免对消息实施重复存储InvokingCoreAsync方法会将加载的每个消息的来源都设置成ChatHistoryProvider。消息的来源类型通过如下这个只读结构体AgentRequestMessageSourceType来标记。publicreadonlystructAgentRequestMessageSourceType(stringvalue):IEquatableAgentRequestMessageSourceType{publicstringValue{get;}publicstaticAgentRequestMessageSourceTypeExternal{get;}newAgentRequestMessageSourceType(External);publicstaticAgentRequestMessageSourceTypeAIContextProvider{get;}newAgentRequestMessageSourceType(AIContextProvider);publicstaticAgentRequestMessageSourceTypeChatHistory{get;}newAgentRequestMessageSourceType(ChatHistory);}AgentRequestMessageSourceType的三个静态属性分别表示三种具体的来源类型External来源于外部调用即用户输入的消息AIContextProvider来源于注册的AIContextProvider提供ChatHistory来源于ChatHistoryProvider;消息的来源存储在表示消息的ChatMessage对象的AdditionalProperties字典中系统为我们提供了一个扩展方法GetAgentRequestMessageSourceType来获取消息的来源类型如果没有获取到或者获取到的值不是有效的AgentRequestMessageSourceType则默认返回External。publicstaticAgentRequestMessageSourceTypeGetAgentRequestMessageSourceType(thisChatMessagemessage);系统提供了如下几个ChatHistoryProvider的内置实现InMemoryChatHistoryProvider是ChatHistoryProvider的内存实现版本。它不依赖外部数据库而是将对话数据存储在当前的进程内存中。它的速度极快无需配置数据库。但是不可持久化。程序重启后所有历史记录都会丢失。适合于单元测试、原型开发、或者短期的临时会话CosmosChatHistoryProvider这是一个生产级的持久化聊天历史管理器实现专门为Azure Cosmos DB设计。它解决了数据持久化、大规模并发、多租户隔离以及自动清理等核心问题2. AIContextProvider由于ChatClientAgent管道最终会调用IChatClient对象与LLM交互不论是基于阻断式的GetResponseAsync方法还是基于流式的GetStreamingResponseAsync方法都只有两个参数一个是消息列表一个是ChatOptions对象这意味着这两个对象完全决定了LLM的响应。为了得到更符合预期的响应我们就需要对这两个对象进行定制化的处理。在得到了LLM的响应后我们可能还需要对响应结果进行再加工来满足后续的业务需求。AIContextProvider就是为了解决这些问题而设计的它定义了两个方法PreprocessAsync和PostprocessAsync前者在调用IChatClient之前被调用后者在调用IChatClient之后被调用。我们可以通过继承AIContextProvider来实现一个自定义的AI上下文提供者在PreprocessAsync方法中根据传入的上下文来定制传入IChatClient的消息列表和ChatOptions对象在PostprocessAsync方法中根据传入的上下文来对返回的结果进行再加工。如上图所示所有注册的AIContextProvider构成一个类似于中间件的链条。在调用IChatClient之前ChatClientAgent会将请求消息列表和从ChatOptions中提取的系统指令与工具集合并成一个AIContext对象并进一步封装成InvokingContext上下文对象然后依次调用每个AIContextProvider的InvokingAsync方法对AIContext进行定制。最终交付给IChatClient的消息列表将来源于这个AIContext采用的ChatOptions也将使用AIContext提供的系统指令。publicsealedclassAIContext{publicstring?Instructions{get;set;}publicIEnumerableChatMessage?Messages{get;set;}publicIEnumerableAITool?Tools{get;set;}}IChatClient调用结束后得到的结构或者抛出的异常会被封装成一个InvokedContext上下文对象ChatClientAgent会将此上下文作为参数按照相反的顺序调用每个AIContextProvider的InvokedAsync方法来对结果进行再加工。publicabstractclassAIContextProvider{publicsealedclassInvokingContext{publicAIAgentAgent{get;}publicAgentSession?Session{get;}publicAIContextAIContext{get;}}publicsealedclassInvokedContext{publicAIAgentAgent{get;}publicAgentSession?Session{get;}publicIEnumerableChatMessageRequestMessages{get;}publicIEnumerableChatMessage?ResponseMessages{get;}publicException?InvokeException{get;}}protectedFuncIEnumerableChatMessage,IEnumerableChatMessageProvideInputMessageFilter{get;}protectedFuncIEnumerableChatMessage,IEnumerableChatMessageStoreInputRequestMessageFilter{get;}protectedFuncIEnumerableChatMessage,IEnumerableChatMessageStoreInputResponseMessageFilter{get;}publicvirtualIReadOnlyListstringStateKeys{get;}protectedAIContextProvider(FuncIEnumerableChatMessage,IEnumerableChatMessage?provideInputMessageFilternull,FuncIEnumerableChatMessage,IEnumerableChatMessage?storeInputRequestMessageFilternull,FuncIEnumerableChatMessage,IEnumerableChatMessage?storeInputResponseMessageFilternull);publicValueTaskAIContextInvokingAsync(InvokingContextcontext,CancellationTokencancellationTokendefault);protectedvirtualasyncValueTaskAIContextInvokingCoreAsync(InvokingContextcontext,CancellationTokencancellationTokendefault);protectedvirtualValueTaskAIContextProvideAIContextAsync(InvokingContextcontext,CancellationTokencancellationTokendefault);publicValueTaskInvokedAsync(InvokedContextcontext,CancellationTokencancellationTokendefault);protectedvirtualValueTaskInvokedCoreAsync(InvokedContextcontext,CancellationTokencancellationTokendefault);protectedvirtualValueTaskStoreAIContextAsync(InvokedContextcontext,CancellationTokencancellationTokendefault);}AIContextProvider采用了于ChatHistoryProvider完全一致的定义方式InvokingAsync方法的逻辑直接调用虚方法InvokingCoreAsyncInvokingCoreAsync默认会调用ProvideAIContextAsync方法来提供一个AIContext上下文此上下文将会与作为参数的InvokingContext上下文的AIContext进行合并具体是对包含在此上下文中的消息列表、系统指令和工具集进行合并ProvideAIContextAsync默认返回一个空的AIContext对象我们可以通过重写ProvideAIContextAsync方法来提供额外的对话历史、系统指令和工具InvokedAsync方法的逻辑直接调用虚方法InvokedCoreAsyncInvokedCoreAsync会先检查调用过程中是否发生了异常如果发生了异常则直接返回如果没有发生异常它会调用另一个虚方法StoreAIContextAsync来存储处理后的结果。StoreAIContextAsync默认不执行任何操作我们可以通过重写StoreAIContextAsync方法来实现自定义的结果存储逻辑2.1 MessageAIContextProviderMessageAIContextProvider派生于AIContextProvider旨在专门实现针对请求消息忽略系统指令和工具集的提供其使命是将额外的上下文消息如RAG检索结果、用户画像等动态地插入到当前的对话流中。它定义了属于自己的InvokingContext上下文只保留的请求消息列表剔除了AIContext的Instructions和ToolspublicabstractclassMessageAIContextProvider:AIContextProvider{publicnewsealedclassInvokingContext{publicAIAgentAgent{get;}publicAgentSession?Session{get;}publicIEnumerableChatMessageRequestMessages{get;}}}MessageAIContextProvider定义了属于直接的虚方法ProvideMessagesAsync方法方法以上面定义的InvokingContext上下文作为参数返回提供的请求消息。重写的ProvideAIContextAsync方法会调用ProvideMessagesAsync来获取额外的请求消息并将这些消息与原有的请求消息进行合并后返回。publicabstractclassMessageAIContextProvider:AIContextProvider{protectedoverrideasyncValueTaskAIContextProvideAIContextAsync(AIContextProvider.InvokingContextcontext,CancellationTokencancellationTokendefault);publicValueTaskIEnumerableChatMessageInvokingAsync(InvokingContextcontext,CancellationTokencancellationTokendefault);protectedvirtualasyncValueTaskIEnumerableChatMessageInvokingCoreAsync(InvokingContextcontext,CancellationTokencancellationTokendefault);protectedvirtualValueTaskIEnumerableChatMessageProvideMessagesAsync(InvokingContextcontext,CancellationTokencancellationTokendefault);}2.2 预定义的AIContextProvider系统提供了如下几个MessageAIContextProvider的内置实现ChatHistoryMemoryProvider可以视为一个非常强大的RAG组件它将聊天历史转化为了长期记忆具体来说是将过去的对话记录向量化存入向量数据库并在后续对话中通过语义搜索找回相关的记忆以此增强Agent的回答能力TextSearchProvider它是一个通用型的外部知识搜索插件。如果说ChatHistoryMemoryProvider是Agent的回忆录那么TextSearchProvider就是Agent的搜索引擎或参考书。它通过封装一个异步搜索函数实现了RAG架构中检索和注入的标准流程Mem0Provider这是一个集成了 Mem0 (被称为AI的长期记忆层) 的上下文提供者。与ChatHistoryMemoryProvider相比Mem0Provider的独特之处在于它不仅仅是存储向量而是利用Mem0的后端服务来智能提取、更新和关联跨会话的记忆片段除了上面几个派生于MessageAIContextProvider的内置实现之外系统还提供了如下几个AIContextProvider的内置实现AgentSkillsProvider将Agent Skills引入MAF。在微软的Agent框架中Skill不仅仅是简单的工具它是一套领域特定的资产包包含指令、参考文档、甚至可执行脚本。这个类的作用是向 Agent 宣告这些技能的存在并提供动态加载它们的能力;CompactionProvider这是一个专门用于上下文压缩的提供者。它的核心使命是解决大模型上下文窗口限制问题通过智能压缩历史消息确保Agent在长对话中既不丢失关键信息又不超出Token限制FoundryMemoryProvider:这是一个集成了Azure AI Foundry记忆服务的上下文提供者。它的功能定位与Mem0Provider类似但它属于Azure原生生态利用AIProjectClient直接与云端托管的记忆库交互