AI Agent Harness Engineering：未来每个 SaaS 软件的标配功能？

AI Agent Harness Engineering未来每个 SaaS 软件的标配功能摘要/引言开门见山痛点引爆的Agent时代革命你有没有试过用Jira追三个月前遗留的「数据导出格式兼容Excel 2013/365离线筛选」bug开发负责人说“优先级排Q3重构”但运营的海外客户今天就要提交合规审计表或者用Zendesk帮客服处理「订阅到期自动续费时多扣了3个月订阅费赠送的团队扩展券失效」的棘手工单你得先去Stripe后台查交易流水、去HubSpot CRM调客户等级与赠送规则历史、再去自家的Payment Gateway代码仓库找异常逻辑分支——整个流程至少花20分钟而SLA要求复杂工单必须在15分钟内给出明确答复又或者你是一个电商SaaS的普通商家双11前想用Shopify Plus的后台做「针对一线城市购买过某母婴品牌300元以上辅食的老客自动触发限时优惠券次日达优先配送标记专属客服跟进备货提醒」的营销活动结果Shopify Flow的预制组件里没有「母婴品牌关键词模糊匹配」「次日达仓覆盖查询」「专属客服随机分配忙闲度低于50%」这三个自定义功能你要么花3000-10000元找第三方插件开发者写死规则插件双11后90%的插件功能没用了要么被迫用一堆Shopify Flow的基础组件嵌套复杂的JSON路径表达式调试了3天还是漏了「忙闲度同步延迟1分钟」的边缘情况没错这就是当前SaaS软件与企业/个人用户需求之间的核心矛盾预制组件/API接口只能覆盖80%的高频标准化场景剩下的20%低频但高价值、高复杂度、高个性化的场景要么交付成本极高、要么交付周期极长、要么根本无法交付——而这20%的高价值场景恰恰是决定SaaS软件付费转化率、续约率、NPS净推荐值的关键因素。问题陈述Harness Engineering究竟解决什么Agent落地难题随着大语言模型LLMs的爆发AI Agent成为了 SaaS 行业解决这一矛盾的“救命稻草”AI Agent 是一种基于LLMs的自主系统它可以理解用户的自然语言指令、调用SaaS软件的内部/外部工具/API接口、规划并执行多步骤的复杂任务、甚至可以根据任务反馈自主调整策略——理论上只要给Agent足够的权限和工具它就能解决那20%的高价值场景问题。但在实际落地中AI Agent 在 SaaS 软件中的应用却困难重重Agent开发门槛极高不仅需要LLMs的API调用、Prompt Engineering提示词工程、RAG检索增强生成等核心技术能力还需要对SaaS软件的业务逻辑、数据库结构、工具/API接口文档有非常深入的理解——普通的SaaS产品经理、运营专员、甚至初级开发工程师根本无法独立开发定制化的Agent。Agent质量难以保证传统的Prompt Engineering方式Agent的行为完全依赖于Prompt的质量——稍微复杂一点的场景Prompt就会变得非常冗长甚至超过LLMs的上下文窗口Agent的规划能力、推理能力、工具调用准确性都会大幅下降而且同一个Prompt不同的LLMs比如GPT-4 vs Claude 3.5 Sonnet vs 通义千问4的执行效果差异极大同一个LLMs同一个Prompt同一个场景不同的时间执行效果也可能不同。Agent安全性与可控性无法保障Agent可以自主调用SaaS软件的内部/外部工具/API接口——如果Agent被恶意利用比如删除了客户的所有订单数据或者Agent的推理过程出现了严重错误比如给客户多退了10倍的订阅费SaaS软件厂商和客户都会面临巨大的经济损失和法律风险而且传统的Agent开发方式Agent的推理过程是“黑盒”的——SaaS厂商和客户根本不知道Agent为什么会做出某个决策、为什么会调用某个工具、为什么会产生某个结果。Agent监控、调试、迭代成本极高Agent执行的是多步骤的复杂任务——一旦Agent执行失败传统的日志系统只能记录“Agent调用了某个工具失败了”根本无法告诉开发者“Agent的推理过程哪里错了”“工具调用的参数哪里错了”“应该如何修改Prompt或工具接口来修复这个问题”而且Agent的迭代周期非常长——从发现问题、到调试Prompt或工具接口、到测试修复效果、到上线可能需要几天甚至几周的时间。而AI Agent Harness EngineeringAI Agent 工程化平台/工具链开发就是专门为了解决这些Agent落地难题而诞生的新兴技术领域它是一种为SaaS软件厂商提供的、全栈式的Agent开发、部署、监控、调试、迭代、安全管理的工程化平台/工具链——它的目标是让SaaS厂商可以在几天甚至几小时内为自己的软件添加定制化的Agent功能让普通的SaaS产品经理、运营专员、甚至初级开发工程师可以在不需要任何LLMs专业技术知识的情况下独立开发、部署、监控、调试、迭代自己的定制化Agent让SaaS厂商和客户可以对Agent的行为进行100%的安全控制和透明监控。核心价值为什么说Harness Engineering是SaaS的“下一个标配”本文的核心价值就是全面、深入、系统地讲解AI Agent Harness Engineering的所有核心概念、技术原理、工程实践、最佳实践、行业发展趋势帮助SaaS软件厂商的产品经理、技术负责人、开发工程师快速理解和掌握Harness Engineering为自己的软件添加定制化的Agent功能提升软件的付费转化率、续约率、NPS净推荐值。具体来说读者将从本文中学到什么是AI Agent Harness Engineering它和Prompt Engineering、RAG、Agent开发框架比如LangChain、AutoGPT、LlamaIndex有什么区别和联系AI Agent Harness Engineering的核心技术原理是什么包括Agent架构设计、Prompt工程化、RAG工程化、工具管理工程化、安全管理工程化、监控调试工程化、迭代优化工程化等。如何从零开始为一个电商SaaS软件比如简化版的Shopify开发一个AI Agent Harness包括环境安装、系统功能设计、系统架构设计、系统接口设计、系统核心实现源代码等。AI Agent Harness Engineering的最佳实践有哪些比如如何设计适合SaaS软件的Agent架构如何降低Agent开发门槛如何保证Agent的质量和安全性如何降低Agent的监控、调试、迭代成本AI Agent Harness Engineering的行业发展与未来趋势是什么它的演变发展历史是怎样的未来几年会有哪些新的技术突破文章概述本文的主要内容结构本文将分为以下七个主要部分第一部分AI Agent Harness Engineering的核心概念与问题背景——详细讲解什么是AI Agent Harness Engineering它和其他相关技术的区别与联系以及它的问题背景和问题描述。第二部分AI Agent Harness Engineering的概念结构与核心要素组成——详细讲解Harness Engineering的核心要素组成比如Agent模板库、Prompt工程化工具、RAG工程化工具、工具连接器、安全网关、监控调试中心、迭代优化中心等以及这些核心要素之间的关系包括概念核心属性维度对比、ER实体关系图、交互关系图等。第三部分AI Agent Harness Engineering的核心技术原理——详细讲解Harness Engineering的核心技术原理包括Agent架构设计原理、Prompt工程化原理、RAG工程化原理、工具管理工程化原理、安全管理工程化原理、监控调试工程化原理、迭代优化工程化原理等并且会使用数学模型Latex公式和算法流程图Mermaid流程图来辅助说明。第四部分AI Agent Harness Engineering的算法实现与Python源代码——详细讲解Harness Engineering的核心算法实现包括Agent规划算法、Agent推理算法、Agent工具调用算法、Agent安全校验算法、Agent监控分析算法、Agent迭代优化算法等并且会提供完整的Python源代码。第五部分AI Agent Harness Engineering的实际场景应用与项目实践——以一个简化版的电商SaaS软件Shopify Mini为例详细讲解如何从零开始开发一个AI Agent Harness包括环境安装、系统功能设计、系统架构设计、系统接口设计、系统核心实现源代码等并且会展示几个实际的应用场景比如海外客户合规审计表自动生成、多扣订阅费复杂工单自动处理、双11个性化营销活动自动配置等。第六部分AI Agent Harness Engineering的最佳实践与行业发展趋势——详细讲解Harness Engineering的最佳实践包括Agent架构设计最佳实践、Prompt工程化最佳实践、RAG工程化最佳实践、工具管理最佳实践、安全管理最佳实践、监控调试最佳实践、迭代优化最佳实践等并且会使用Markdown表格展示Harness Engineering的演变发展历史以及分析未来几年的行业发展趋势。第七部分结论与展望——简要回顾文章的主要内容再次强调Harness Engineering的重要性鼓励读者尝试为自己的SaaS软件添加定制化的Agent功能提出几个开放性问题以引发讨论并且会展望Harness Engineering的未来发展方向。第一部分AI Agent Harness Engineering的核心概念与问题背景1.1 核心概念从Agent到Harness究竟是什么在详细讲解AI Agent Harness Engineering之前我们首先需要明确几个核心概念SaaS软件、AI Agent、Prompt Engineering、RAG、Agent开发框架然后再引出AI Agent Harness Engineering的定义。1.1.1 核心概念1SaaS软件Software as a ServiceSaaS软件是一种基于云计算的软件交付模式——SaaS厂商将软件部署在自己的云服务器上客户通过互联网通常是Web浏览器或移动应用程序访问和使用软件不需要自己安装、维护、升级软件只需要按照订阅周期比如月付、季付、年付支付一定的费用即可。SaaS软件的核心优势在于降低了客户的IT成本客户不需要购买、维护、升级硬件设备和软件系统只需要支付订阅费用即可。提高了软件的易用性客户通过互联网即可访问和使用软件不需要安装任何东西随时随地都可以使用。加快了软件的更新迭代速度SaaS厂商可以在自己的云服务器上快速更新迭代软件所有客户都可以立即使用最新版本的软件不需要自己手动升级。SaaS软件的核心劣势在于标准化程度过高为了覆盖更多的客户SaaS厂商通常会将软件设计成标准化的产品只能覆盖80%的高频标准化场景剩下的20%低频但高价值、高复杂度、高个性化的场景要么无法交付要么交付成本极高、交付周期极长。数据安全与隐私问题客户的所有数据都存储在SaaS厂商的云服务器上如果SaaS厂商的云服务器被黑客攻击或者SaaS厂商的员工泄露了客户的数据客户都会面临巨大的经济损失和法律风险。1.1.2 核心概念2AI Agent人工智能自主智能体AI Agent是一种基于大语言模型LLMs或其他人工智能技术的自主系统——它可以感知周围的环境比如用户的自然语言指令、SaaS软件的内部/外部状态数据、工具/API接口的返回结果等、理解感知到的信息、根据感知到的信息和预设的目标或用户的自然语言目标规划并执行多步骤的复杂任务、根据任务的反馈结果自主调整策略、甚至可以学习新的知识和技能。根据LLM Agent领域的权威论文《ReAct: Synergizing Reasoning and Acting in Language Models》2022年Google Research和《Self-Refine: Iterative Refinement with Self-Feedback》2023年OpenAI Research以及开源Agent开发框架LangChain的官方文档一个完整的LLM Agent通常由以下六个核心组件组成感知模块Perception Module负责感知周围的环境包括用户的自然语言指令、SaaS软件的内部/外部状态数据、工具/API接口的返回结果等——感知模块的输入是原始的环境数据输出是结构化的环境信息比如JSON格式。推理模块Reasoning Module负责理解感知到的结构化环境信息根据预设的目标或用户的自然语言目标生成任务规划并且根据任务的反馈结果自主调整策略——推理模块的核心是大语言模型LLMs比如GPT-4、Claude 3.5 Sonnet、通义千问4等。记忆模块Memory Module负责存储Agent的历史信息包括短期记忆Short-Term Memory比如最近的几次对话、最近的几次工具调用结果和长期记忆Long-Term Memory比如Agent的知识图谱、RAG检索到的知识库内容——记忆模块的输入是Agent的历史信息输出是推理模块需要的上下文信息。工具调用模块Tool Calling Module负责调用SaaS软件的内部/外部工具/API接口执行推理模块规划的具体任务——工具调用模块的输入是推理模块生成的工具调用请求比如工具名称、工具参数输出是工具/API接口的返回结果。动作模块Action Module负责将工具/API接口的返回结果转化为用户可以理解的自然语言输出或者直接修改SaaS软件的内部/外部状态——动作模块的输入是工具/API接口的返回结果输出是自然语言输出或状态修改请求。评估模块Evaluation Module负责评估Agent的任务执行效果并且根据评估结果生成反馈信息帮助推理模块自主调整策略——评估模块的输入是任务的最终结果和预设的评估标准输出是反馈信息比如“任务成功完成”“任务失败因为工具调用参数错误”“任务部分成功需要调整策略”。一个典型的LLM Agent的工作流程如下感知阶段感知模块接收用户的自然语言指令并且将其转化为结构化的环境信息。推理阶段推理模块从记忆模块中获取上下文信息理解结构化的环境信息根据预设的目标或用户的自然语言目标生成任务规划。工具调用阶段工具调用模块根据推理模块生成的任务规划调用相应的工具/API接口执行具体的任务。记忆更新阶段记忆模块将感知阶段的环境信息、推理阶段的任务规划、工具调用阶段的工具/API接口返回结果更新到短期记忆或长期记忆中。评估阶段评估模块评估任务的执行效果生成反馈信息。动作阶段如果任务成功完成动作模块将工具/API接口的返回结果转化为自然语言输出发送给用户如果任务失败或部分成功动作模块将反馈信息发送给推理模块推理模块根据反馈信息自主调整策略然后重复步骤2-6直到任务成功完成或达到最大迭代次数。1.1.3 核心概念3Prompt Engineering提示词工程Prompt Engineering是一种通过设计和优化输入给大语言模型LLMs的提示词Prompt来提高LLMs输出质量的技术——Prompt是用户输入给LLMs的一段文字它可以告诉LLMs要做什么、怎么做、输出什么格式的内容、需要注意什么问题等。Prompt Engineering的核心目标是提高LLMs的输出准确性通过设计清晰、明确、具体的提示词让LLMs理解用户的真实意图避免输出错误的内容。提高LLMs的输出一致性通过设计标准化的提示词让LLMs在不同的时间、不同的场景下输出相同或相似的高质量内容。降低LLMs的推理成本通过设计简洁、高效的提示词减少LLMs的推理时间和上下文窗口消耗降低LLMs的API调用成本。Prompt Engineering的核心方法包括指令清晰明确直接告诉LLMs要做什么不要拐弯抹角。提供示例提供几个输入和输出的示例让LLMs理解输出的格式和内容要求——这种方法叫做“Few-Shot Learning少样本学习”。约束输出格式明确告诉LLMs要输出什么格式的内容比如JSON格式、Markdown格式、表格格式等——这样可以让LLMs的输出更容易被后续的程序处理。分步骤处理将复杂的任务分解成几个简单的步骤让LLMs一步一步地处理——这种方法叫做“Chain-of-ThoughtCoT思维链Prompting”。自我反思让LLMs在输出结果之前先反思自己的推理过程是否正确输出结果是否符合要求——这种方法叫做“Self-Consistency自我一致性Prompting”或“Self-Refine自我优化Prompting”。1.1.4 核心概念4RAGRetrieval-Augmented Generation检索增强生成RAG是一种将信息检索Information Retrieval和大语言模型LLMs的文本生成Text Generation结合起来的技术——它的核心思想是在LLMs生成文本之前先从一个外部知识库比如企业的内部文档、产品手册、API接口文档、客户工单历史等中检索出与用户的自然语言指令相关的信息然后将这些检索到的信息和用户的自然语言指令一起输入给LLMs让LLMs根据这些信息生成高质量的文本。RAG的核心优势在于解决了LLMs的“知识截止日期”问题LLMs的知识是基于训练数据的训练数据有一个截止日期比如GPT-4的训练数据截止到2023年10月在截止日期之后发生的事情LLMs是不知道的——而RAG可以从外部知识库中检索出最新的信息让LLMs生成包含最新信息的文本。解决了LLMs的“幻觉Hallucination”问题LLMs有时候会生成一些看起来合理但实际上是错误的内容这种现象叫做“幻觉”——而RAG可以让LLMs根据检索到的真实信息生成文本大幅降低幻觉的发生率。提高了LLMs的输出准确性和可信度RAG可以让LLMs的输出内容有外部知识库的支撑用户可以通过查看检索到的信息来验证LLMs的输出内容是否正确大幅提高了LLMs的输出准确性和可信度。保护了企业的内部数据安全RAG不需要将企业的内部数据上传到LLMs的训练服务器上只需要在企业自己的服务器上或私有云上部署RAG的检索模块大幅保护了企业的内部数据安全。一个完整的RAG系统通常由以下六个核心组件组成知识库构建模块Knowledge Base Construction Module负责将企业的内部文档、产品手册、API接口文档、客户工单历史等原始数据转化为结构化的、可检索的知识库——通常包括数据清洗、数据分块Chunking、数据向量化Embedding、向量存储Vector Storage等步骤。查询处理模块Query Processing Module负责将用户的自然语言指令转化为结构化的查询请求并且对查询请求进行优化比如扩展同义词、删除停用词、调整查询权重等——通常包括查询向量化、查询扩展、查询重写等步骤。检索模块Retrieval Module负责根据查询处理模块生成的优化后的查询请求从向量存储中检索出与查询请求最相关的几个数据块通常叫做“Top-K Chunks”——通常包括向量相似度计算、重排序Reranking等步骤。上下文构建模块Context Construction Module负责将检索模块检索到的Top-K Chunks按照一定的规则比如相关性顺序、时间顺序、文档顺序等组合成一段结构化的上下文信息——通常需要注意上下文窗口的限制避免组合后的上下文信息超过LLMs的上下文窗口。LLM生成模块LLM Generation Module负责将上下文构建模块生成的结构化上下文信息和用户的自然语言指令一起输入给LLMs让LLMs根据这些信息生成高质量的文本——通常需要使用Prompt Engineering来优化提示词提高LLMs的输出质量。输出验证模块Output Validation Module负责验证LLM生成模块生成的文本是否符合要求比如是否包含错误的信息、是否符合企业的品牌风格、是否包含敏感信息等——如果不符合要求可以让LLM生成模块重新生成文本或者直接拒绝输出。1.1.5 核心概念5Agent开发框架Agent Development FrameworkAgent开发框架是一种为开发者提供的、快速开发AI Agent的开源或商业工具链——它的核心目标是降低Agent开发的技术门槛让开发者不需要从零开始编写Agent的所有核心组件代码只需要调用框架提供的API接口或使用框架提供的预制组件就可以快速开发出自己的AI Agent。目前市面上最流行的开源Agent开发框架包括LangChain由Harrison Chase于2022年10月创建的开源Agent开发框架是目前最流行、功能最强大的Agent开发框架之一——它提供了丰富的预制组件比如LLM连接器、工具连接器、记忆组件、RAG组件等支持多种LLMs比如GPT-4、Claude 3.5 Sonnet、通义千问4、Llama 3等支持多种工具/API接口比如Google Search、Stripe、HubSpot、Shopify等支持多种记忆类型比如ConversationBufferMemory、ConversationSummaryMemory、VectorStoreRetrieverMemory等支持多种RAG架构比如Naive RAG、Contextual RAG、Graph RAG、HyDE RAG等。AutoGPT由Significant Gravitas于2023年3月创建的开源Agent项目是第一个引起广泛关注的自主AI Agent——它的核心特点是可以设定一个长期的目标比如“写一本关于AI Agent的书”然后自主规划并执行多步骤的复杂任务比如收集资料、写大纲、写章节、修改章节等不需要用户的持续干预——不过AutoGPT的稳定性和可控性较差目前主要用于演示和实验不太适合用于生产环境。LlamaIndex之前叫做GPT Index由Jerry Liu于2022年11月创建的开源RAGAgent开发框架是目前最流行的RAG开发框架之一——它的核心特点是提供了丰富的索引类型比如VectorStoreIndex、SummaryIndex、TreeIndex、KeywordTableIndex等支持多种数据源比如PDF、Word、Excel、CSV、Web Pages、Notion、Slack等支持多种RAG优化技术比如Contextual RAG、Graph RAG、HyDE RAG、Sentence Window RAG等同时也提供了基本的Agent开发功能。CrewAI由João Moura于2023年10月创建的开源多Agent协作开发框架——它的核心特点是支持创建多个不同角色的Agent比如“产品经理”“技术负责人”“开发工程师”“测试工程师”等每个Agent有自己的目标、工具、LLMs多个Agent可以协作完成一个复杂的任务比如开发一个SaaS软件的最小可行产品。LangGraph由LangChain团队于2023年12月创建的开源Agent架构开发框架是LangChain的一个重要升级——它的核心特点是支持构建基于状态机State Machine的Agent架构开发者可以精确控制Agent的工作流程比如什么时候调用LLMs、什么时候调用工具、什么时候更新状态、什么时候结束任务等大幅提高了Agent的稳定性和可控性非常适合用于生产环境。目前市面上最流行的商业Agent开发平台包括OpenAI Assistants API由OpenAI于2023年11月发布的商业Agent开发平台——它的核心特点是提供了完整的Agent开发、部署、监控、调试、迭代的功能支持文件上传、代码解释、工具调用、记忆管理等不需要开发者自己部署LLMs只需要调用OpenAI的API接口即可非常适合快速开发和部署生产环境的Agent。Google Vertex AI Agent Builder由Google Cloud于2024年3月发布的商业Agent开发平台——它的核心特点是提供了完整的Agent开发、部署、监控、调试、迭代的功能支持多种Google的LLMs比如Gemini 1.5 Pro、Gemini 1.5 Flash、PaLM 2等支持多种Google的工具比如Google Search、Google Maps、Google Drive等支持部署在Google Cloud的私有云上非常适合对数据安全要求较高的企业。Microsoft Copilot Studio由Microsoft于2023年11月发布的商业Copilot也就是Agent开发平台——它的核心特点是提供了无代码/低代码的Agent开发界面普通的产品经理、运营专员、甚至初级开发工程师都可以在不需要任何LLMs专业技术知识的情况下独立开发、部署、监控、调试、迭代自己的Copilot支持多种Microsoft的LLMs比如GPT-4 Turbo、Claude 3.5 Sonnet通过Azure OpenAI Service、Copilot Studio自己的LLMs等支持多种Microsoft的工具比如Microsoft 365、Dynamics 365、Power Platform等非常适合企业级的应用场景。1.1.6 核心概念6AI Agent Harness EngineeringAI Agent 工程化平台/工具链开发在明确了以上五个核心概念之后我们终于可以引出AI Agent Harness Engineering的定义了AI Agent Harness Engineering以下简称“Harness Engineering”是一种为SaaS软件厂商提供的、全栈式的、嵌入式的AI Agent开发、部署、监控、调试、迭代、安全管理、权限管理的工程化平台/工具链开发技术——它的核心目标是让SaaS厂商可以在几天甚至几小时内为自己的软件添加定制化的Agent功能让普通的SaaS产品经理、运营专员、甚至初级开发工程师可以在不需要任何LLMs专业技术知识的情况下通过无代码/低代码的界面独立开发、部署、监控、调试、迭代自己的定制化Agent让SaaS厂商和客户可以对Agent的行为进行100%的安全控制、透明监控、权限管理、数据管理让SaaS厂商可以轻松地管理和维护多个Agent、多个LLMs、多个工具/API接口、多个客户的Agent实例。为了更清晰地理解Harness Engineering的定义我们需要将它和其他相关技术比如Agent开发框架、商业Agent开发平台、Prompt Engineering、RAG进行对比1Harness Engineering vs Agent开发框架Agent开发框架是一种通用的、面向开发者的Agent开发工具链——它的目标是降低所有开发者包括SaaS厂商的开发者、第三方插件开发者、个人开发者等的Agent开发技术门槛让开发者可以快速开发出自己的AI Agent它通常是开源的需要开发者自己部署LLMs、向量数据库、工具/API接口等它通常没有无代码/低代码的界面需要开发者编写一定的代码它通常没有面向SaaS软件厂商的嵌入式功能、安全管理功能、权限管理功能、多客户管理功能等。而Harness Engineering是一种专用的、面向SaaS软件厂商的嵌入式Agent工程化平台/工具链——它的目标是让SaaS厂商可以快速为自己的软件添加定制化的Agent功能并且让普通的SaaS产品经理、运营专员、甚至初级开发工程师可以独立开发定制化的Agent它通常是商业的或者SaaS厂商自己内部开发的可以部署在SaaS厂商的云服务器上或私有云上它通常有面向SaaS厂商的嵌入式功能可以直接嵌入到SaaS软件的Web界面或移动应用程序中、安全管理功能、权限管理功能、多客户管理功能等它通常有面向非技术人员的无代码/低代码的界面。简单来说Agent开发框架是Harness Engineering的底层技术支撑之一——Harness Engineering通常会基于一个或多个Agent开发框架比如LangChain、LangGraph、LlamaIndex等来构建自己的核心功能。2Harness Engineering vs 商业Agent开发平台商业Agent开发平台比如OpenAI Assistants API、Google Vertex AI Agent Builder、Microsoft Copilot Studio是一种通用的、面向所有企业和个人的云端Agent开发平台——它的目标是降低所有企业和个人的Agent开发技术门槛让企业和个人可以快速开发出自己的AI Agent它通常部署在平台厂商的云服务器上需要企业和个人将自己的部分数据比如知识库内容、工具/API接口的访问凭证等上传到平台厂商的云服务器上它通常有面向非技术人员的无代码/低代码的界面它通常没有面向SaaS软件厂商的嵌入式功能或者嵌入式功能非常有限、多客户管理功能、完全的权限管理功能等。而Harness Engineering是一种专用的、面向SaaS软件厂商的嵌入式Agent工程化平台/工具链——它的目标是让SaaS厂商可以快速为自己的软件添加定制化的Agent功能并且让普通的SaaS产品经理、运营专员、甚至初级开发工程师可以独立开发定制化的Agent它通常部署在SaaS厂商的云服务器上或私有云上SaaS厂商的所有数据比如客户数据、知识库内容、工具/API接口的访问凭证等都存储在自己的服务器上大幅保护了数据安全它通常有面向SaaS厂商的完全的嵌入式功能可以直接嵌入到SaaS软件的Web界面或移动应用程序的任何位置比如侧边栏、对话框、操作按钮旁边等、完全的多客户管理功能可以为每个客户创建独立的Agent实例、独立的知识库、独立的工具/API接口访问权限等、完全的权限管理功能可以为SaaS厂商的管理员、产品经理、运营专员、开发工程师以及客户的管理员、普通用户设置不同的Agent开发、部署、使用、监控、调试、迭代的权限等。简单来说商业Agent开发平台是一种“通用的云端Agent开发工具”而Harness Engineering是一种“专用的嵌入式SaaS Agent工程化平台”——Harness Engineering通常会支持集成多个商业Agent开发平台的API接口比如OpenAI Assistants API、Google Vertex AI Agent Builder等让SaaS厂商可以根据自己的需求选择合适的LLMs和Agent开发平台。3Harness Engineering vs Prompt EngineeringPrompt Engineering是一种通过设计和优化提示词来提高LLMs输出质量的技术——它是Harness Engineering的底层技术支撑之一它通常需要专业的技术人员比如Prompt工程师、AI工程师等来完成它的可复用性较差同一个Prompt不同的LLMs、不同的场景、不同的时间执行效果差异极大它的可维护性较差如果场景发生了变化需要重新设计和优化Prompt。而Harness Engineering是一种全栈式的Agent工程化平台/工具链开发技术——它不仅包含了Prompt Engineering的功能比如Prompt模板库、Prompt优化工具、Prompt A/B测试工具等还包含了Agent架构设计、RAG工程化、工具管理工程化、安全管理工程化、监控调试工程化、迭代优化工程化等功能它可以让普通的非技术人员比如SaaS产品经理、运营专员等通过无代码/低代码的界面独立开发、部署、监控、调试、迭代自己的定制化Agent不需要专业的Prompt Engineering技术知识它的可复用性较强提供了丰富的Agent模板库、Prompt模板库、工具模板库等它的可维护性较强如果场景发生了变化只需要通过无代码/低代码的界面修改相应的配置即可不需要重新编写代码或重新设计Prompt。4Harness Engineering vs RAGRAG是一种将信息检索和LLMs的文本生成结合起来的技术——它是Harness Engineering的底层技术支撑之一它通常需要专业的技术人员比如AI工程师、数据工程师等来完成它的可复用性较差同一个RAG架构不同的知识库、不同的场景执行效果差异极大它的可维护性较差如果知识库发生了变化需要重新构建知识库的索引。而Harness Engineering是一种全栈式的Agent工程化平台/工具链开发技术——它不仅包含了RAG的功能比如知识库构建工具、查询优化工具、检索工具、重排序工具、上下文构建工具等还包含了Agent架构设计、Prompt工程化、工具管理工程化、安全管理工程化、监控调试工程化、迭代优化工程化等功能它可以让普通的非技术人员比如SaaS产品经理、运营专员等通过无代码/低代码的界面独立构建、维护、更新自己的知识库不需要专业的RAG技术知识它的可复用性较强提供了丰富的知识库模板、索引模板、检索模板等它的可维护性较强提供了自动的知识库更新功能、自动的索引重建功能等。1.2 问题背景为什么现在需要Harness EngineeringHarness Engineering的诞生并不是偶然的——它是SaaS软件行业的发展需求、大语言模型LLMs的技术突破、AI Agent的落地难题这三个因素共同作用的结果。1.2.1 因素1SaaS软件行业的发展需求随着云计算技术的普及SaaS软件行业在过去的十年里得到了快速的发展——根据Gartner的统计数据2023年全球SaaS软件市场的规模达到了1970亿美元预计到2028年将达到3740亿美元年复合增长率CAGR为13.6%。但是随着SaaS软件市场的竞争越来越激烈SaaS软件厂商面临的压力也越来越大获客成本CAC越来越高根据HubSpot的统计数据2023年全球B2B SaaS软件的平均获客成本达到了1350美元而2015年只有400美元左右年复合增长率超过了15%。客户流失率Churn Rate越来越高根据Zuora的统计数据2023年全球B2B SaaS软件的平均年度客户流失率达到了10-15%而月度客户流失率达到了1-2%——对于SaaS软件厂商来说客户流失率每降低1%年度收入就可以增加10-15%。客户的需求越来越个性化、高价值、高复杂度随着企业数字化转型的深入客户不再满足于SaaS软件提供的标准化功能——他们需要SaaS软件能够根据自己的业务流程、业务规则、业务需求提供定制化的功能而且这些定制化的功能通常是低频但高价值、高复杂度的比如海外客户合规审计表自动生成、多扣订阅费复杂工单自动处理、双11个性化营销活动自动配置等。为了应对这些压力SaaS软件厂商必须寻找新的增长点和差异化竞争优势——而定制化的AI Agent功能就是SaaS软件厂商的下一个增长点和差异化竞争优势降低获客成本CAC定制化的AI Agent功能可以为SaaS软件带来独特的价值主张吸引更多的潜在客户降低获客成本。提高客户续约率Renewal Rate和NPS净推荐值定制化的AI Agent功能可以帮助客户解决高频标准化场景之外的20%低频但高价值、高复杂度的场景问题大幅提高客户的满意度和忠诚度从而提高客户续约率和NPS净推荐值。提高客户的ARPUAverage Revenue Per User每用户平均收入SaaS软件厂商可以将定制化的AI Agent功能作为一个增值服务向客户收取额外的费用从而提高客户的ARPU。但是正如我们在摘要/引言部分提到的AI Agent在SaaS软件中的应用却困难重重——而Harness Engineering就是专门为了解决这些Agent落地难题而诞生的。1.2.2 因素2大语言模型LLMs的技术突破在过去的几年里大语言模型LLMs的技术得到了快速的突破LLMs的能力越来越强从2020年的GPT-3到2022年的GPT-3.5、ChatGPT到2023年的GPT-4、Claude 3、Gemini 1.0到2024年的GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro、通义千问4——LLMs的推理能力、规划能力、工具调用能力、理解能力、生成能力都得到了大幅的提升。LLMs的成本越来越低从2020年的GPT-3每百万输入token的成本为400美元每百万输出token的成本为800美元到2024年的GPT-4o Mini每百万输入token的成本为0.15美元每百万输出token的成本为0.60美元——LLMs的成本降低了2600倍以上这使得AI Agent的大规模应用成为了可能。LLMs的可访问性越来越高随着OpenAI、Anthropic、Google、百度、阿里巴巴、腾讯等公司的LLMs API接口的开放以及开源LLMs比如Llama 3、Mistral、Qwen等的发布——任何企业和个人都可以轻松地访问和使用LLMs不需要自己训练LLMs。LLMs的这些技术突破为AI Agent的诞生和发展提供了坚实的技术基础——但是正如我们在摘要/引言部分提到的AI Agent在SaaS软件中的应用却困难重重——而Harness Engineering就是专门为了解决这些Agent落地难题而诞生的。1.2.3 因素3AI Agent的落地难题虽然LLMs的技术得到了快速的突破AI Agent的理论也非常成熟但是AI Agent在SaaS软件中的实际落地应用却非常少——根据Gartner的统计数据2024年全球只有不到5%的SaaS软件厂商为自己的软件添加了定制化的Agent功能而不到1%的SaaS软件厂商的Agent功能是真正可用的可以解决客户的实际问题并且稳定性和可控性较高。导致AI Agent在SaaS软件中的实际落地应用困难重重的原因就是我们在摘要/引言部分提到的四个核心问题Agent开发门槛极高。Agent质量难以保证。Agent安全性与可控性无法保障。Agent监控、调试、迭代成本极高。而Harness Engineering就是专门为了解决这四个核心问题而诞生的。1.3 问题描述Harness Engineering需要解决哪些具体的问题为了更清晰地理解Harness Engineering的目标我们需要将摘要/引言部分提到的四个核心问题分解成更具体的、可操作的问题1.3.1 具体问题1如何降低Agent开发门槛如何让普通的非技术人员比如SaaS产品经理、运营专员等在不需要任何LLMs专业技术知识的情况下独立开发定制化的Agent如何提供无代码/低代码的Agent开发界面如何提供丰富的Agent模板库、Prompt模板库、工具模板库、知识库模板库等提高Agent开发的效率如何简化Agent的配置流程1.3.2 具体问题2如何保证Agent的质量如何提供Prompt优化工具自动优化提示词的质量如何提供Prompt A/B测试工具比较不同Prompt的执行效果如何提供RAG优化工具自动优化RAG的检索质量如何提供Agent测试工具自动测试Agent的执行效果如何支持集成多个LLMs让SaaS厂商可以根据自己的需求选择合适的LLMs如何提供Agent的一致性保证机制让同一个Agent同一个场景不同的时间执行效果相同或相似1.3.3 具体问题3如何保障Agent的安全性与可控性如何提供安全网关对Agent的所有工具/API接口调用进行安全校验如何提供权限管理功能为SaaS厂商的管理员、产品经理、运营专员、开发工程师以及客户的管理员、普通用户设置不同的Agent开发、部署、使用、监控、调试、迭代的权限如何提供数据管理功能确保SaaS厂商的所有数据比如客户数据、知识库内容、工具/API接口的访问凭证等都存储在自己的服务器上如何提供Agent的行为审计功能记录Agent的所有行为比如所有的对话、所有的工具/API接口调用、所有的状态修改等如何提供Agent的推理过程透明化功能让SaaS厂商和客户可以看到Agent的完整推理过程比如为什么会做出某个决策、为什么会调用某个工具、为什么会产生某个结果等如何提供Agent的紧急停止功能让SaaS厂商和客户可以在Agent出现异常行为时立即停止Agent的执行1.3.4 具体问题4如何降低Agent的监控、调试、迭代成本如何提供监控中心实时监控Agent的执行情况比如执行成功率、执行时间、工具调用成功率、LLMs API调用成本等如何提供调试中心帮助开发者快速定位和修复Agent的问题比如可以回放Agent的完整执行过程、可以查看Agent的所有日志、可以修改Agent的配置并立即测试修复效果等如何提供迭代优化中心帮助开发者快速迭代和优化Agent比如可以收集客户的反馈、可以自动分析Agent的问题、可以自动生成优化建议等如何提供自动的知识库更新功能、自动的索引重建功能如何提供自动的Agent版本管理功能1.4 问题解决Harness Engineering的整体解决方案思路为了解决以上四个具体的问题Harness Engineering的整体解决方案思路是构建一个全栈式的、嵌入式的Agent工程化平台/工具链——包含Agent开发、部署、监控、调试、迭代、安全管理、权限管理、数据管理、多客户管理、多LLMs管理、多工具管理等所有核心功能。提供面向非技术人员的无代码/低代码的界面——让普通的SaaS产品经理、运营专员、甚至初级开发工程师可以在不需要任何LLMs专业技术知识的情况下独立开发、部署、监控、调试、迭代自己的定制化Agent。提供丰富的模板库和预制组件——提高Agent开发的效率降低Agent开发的难度。基于状态机State Machine的Agent架构设计——提高Agent的稳定性和可控性让开发者可以精确控制Agent的工作流程。提供完整的安全管理、权限管理、数据管理功能——保障Agent的安全性与可控性保护SaaS厂商和客户的数据安全。提供完整的监控中心、调试中心、迭代优化中心——降低Agent的监控、调试、迭代成本。支持集成多个LLMs、多个Agent开发框架、多个商业Agent开发平台——让SaaS厂商可以根据自己的需求选择合适的技术栈。1.5 边界与外延Harness Engineering的适用范围和未来发展方向1.5.1 边界Harness Engineering的适用范围Harness Engineering并不是万能的——它有自己的适用范围