【Agent智能体22 | 构建AI工作流的技巧-延迟、成本优化】

声明本篇博客是以吴恩达的【Agent智能体】教程为基础并对其中的内容做了笔记整理以及个人收获的总结。延迟、成本优化的优先级一般较低。下面展示一下相关的思路降低延迟如果你想优化智能体工作流的延迟常用的方法是对工作流进行基准测试或计时通过查看整体时间线 我可以判断哪些环节有最大优化空间可以加快速度常用的方法如下考虑并行处理 (Consider parallelism?)如果有些步骤还没并行处理比如网页抓取可以考虑将部分操作并行执行而不是排队挨个抓取从而大幅缩短总运行时间。LLM 步骤耗时过长 (LLM steps too long?)或者发现某些大语言模型步骤耗时过长尝试使用规模较小/稍弱但速度更快的模型 (smaller/less intelligent model)或者更换响应速度更快的 LLM 服务提供商 (faster LLM provider)。通过这种计时分析 你能判断哪些环节最值得优化减少成本在构建和运行 AI 工作流时通常需要为以下三类操作付费LLM 步骤 (LLM steps - pay per token)调用大语言模型如 GPT-4、Gemini 等的费用。这是基于输入Prompt和输出生成的文本的词块数量 (Token)来计费的。处理的文本越长费用越高。API 调用工具 (Any API-calling tools - pay per API call)当代理使用外部工具如谷歌搜索 API、天气 API、数据库查询等时通常是按调用次数 (per API call)固定计费的。计算步骤 (Compute steps - based on server capacity/cost)在本地或云服务器上执行普通代码、数据处理或运行脚本的成本。这取决于所消耗的服务器计算资源和时长。在优化成本方面同样可以对每一步的成本进行计算 从而基准测试并决定哪些步骤需要优化重点关注优化哪些环节。有时候优化提示词减少无效长文本或者寻找更便宜的替代 API 工具能大幅降低整体工作流的运行费用。总结所以发现当成本或延迟成为问题时只需测量每一步的成本或延迟这通常能为你提供依据 判断该优先优化哪些组件到此构建AI工作流的技巧相关的知识就介绍完了下面该介绍“规划”这个涉及模式了如果这篇文章对你有帮助欢迎点赞、评论、关注、收藏。你们的支持是我前进的动力