人工智能：开源LLM与Agent技术栈-体系结构

开源LLM与Agent技术栈体系结构本文面向系统架构师和工程开发人员从端到端视角系统梳理开源LLM与Agent技术栈。内容包括数据接入与索引、向量数据库、模型服务层、编排与Agent运行时、评估与安全策略以及不同部署模式下的工程实践。文档篇幅较长适合作为内部培训、架构评审或方案设计讨论的参考材料。图1LLM/Agent技术栈的概念分层示意。图2vLLM与TGI类服务在不同批大小下的时延对比示意。图3随着GPU数量增加吞吐量扩展的简化示意。组件类别在栈中的角色典型开源示例说明向量库存储/检索存储向量并支持语义检索。Faiss、Milvus、Qdrant、Chroma、Weaviate选型取决于规模、时延和云/自建环境需求。模型服务层推理通过API暴露LLM并实现批处理和调度。vLLM、TGI、FastChat、Ray Serve、Triton对吞吐、时延和成本效率至关重要。编排框架应用逻辑定义围绕LLM调用的链路、图和代理。LangChain、LlamaIndex、Haystack、Guidance承载业务流程、数据流和工具调用逻辑。Agent运行时多Agent/工具使用协调多个Agent、工具和记忆。AutoGen、CrewAI、LangGraph等适用于复杂工作流和任务分解场景。评估与安全质量与风控衡量质量、可靠性并执行策略。OpenAI Evals、DeepEval、Guardrails等从PoC走向生产环境的关键能力。表1典型开源LLM/Agent技术栈中的核心组件。模式描述典型场景备注单Agent工具一个Agent调用搜索、数据库、API等工具。聊天助手、代码Copilot、知识问答机器人。架构最简单覆盖许多常见用例。规划-执行双Agent规划Agent拆解任务执行Agent完成各步骤。复杂业务流程、多步骤自动化。需要可靠的记忆和清晰的工具接口。多Agent协同多个专业化Agent通过消息协同工作。研究助手、Autonomous Pipeline、代码运维协同。需要良好的通信协议和可观测性。监督/守护Agent监督Agent监控执行过程并在必要时介入。安全策略、人机协同、风险控制。可实现策略检查和风险分级处理。表2常见Agent模式及应用场景。KPI含义典型目标说明请求p95时延从请求发出到返回首个Token或完整应答的时延。交互类应用通常要求1–2秒。受模型规模、批处理策略和网络路径影响。吞吐量Tokens/s系统整体每秒生成的Token数量。随GPU数量和批处理效率提升。是基础设施成本和容量规划的核心指标。每千Token成本按Token归一化的API或自建算力成本。通过缓存、小模型和蒸馏等优化。便于比较开源自建与SaaS API方案。可靠性/成功率请求成功完成的比例。关键业务场景通常要求99%。受超时、OOM错误和安全策略拦截等影响。表3评估LLM/Agent技术栈的典型KPI指标。1. 技术栈整体视图从架构角度看LLM技术栈可以视为一系列层次从底层的数据接入和预处理到向量索引与检索再到模型服务、编排框架和Agent运行时最后通过评估和安全策略实现整体行为的可控与可观测。数据层负责从文件系统、协作平台如Confluence、Notion、SharePoint以及工单系统如Jira、ServiceNow中抽取、清洗、结构化信息上层的向量索引提供语义检索能力模型服务层通过API暴露LLM和各种辅助模型编排和Agent层承载具体业务逻辑和工具调用评估与安全层则确保系统输出满足质量和合规要求。2. 数据接入与索引开源框架如LangChain、LlamaIndex、Haystack通常提供丰富的Loader和Connector方便接入多种数据源。在工程实践中需要针对不同源设计统一的元数据结构和更新策略以支持后续检索与权限控制。索引过程包括文档切分、生成向量表示以及将向量与元数据写入向量库。切分策略块大小、重叠比例、向量模型选择和元数据字段设计都会对检索效果和系统可维护性产生重要影响。3. 向量数据库与检索设计Faiss、Milvus、Qdrant、Chroma、Weaviate等开源向量库提供大规模近似最近邻检索能力。在选型和配置时需要考虑索引类型HNSW、IVF、PQ等、副本数、读写一致性模型以及与Kubernetes或云服务的集成方式。检索策略除了简单的Top-k语义检索外还可以采用混合检索语义关键字、基于小模型的Rerank等。在RAG场景中检索质量往往直接决定整体问答质量因此需要投入足够的评估和调优工作。4. 模型服务与推理vLLM、TGI、FastChat、Triton等开源模型服务栈关注如何在有限的GPU资源下最大化吞吐并降低时延。关键技术包括连续批处理、KV缓存管理、张量并行以及显存优化等需要在实现复杂度与性能收益之间权衡。服务接口设计也同样重要包括是否支持流式输出、最大Token限制、限流策略、熔断与重试机制等。同时需要将日志、指标和追踪数据纳入统一的可观测性体系便于排查OOM、超时等问题。5. 编排框架与调用链路LangChain、LlamaIndex、Haystack等框架提供链Chain或图Graph抽象用于表达LLM调用、工具调用、检索和后处理之间的关系。合理使用这些抽象可以避免业务逻辑与底层API绑死提高可测试性和可维护性。在设计调用链时应明确输入输出契约、错误处理策略以及可重试机制同时区分配置模型、端点与逻辑步骤和决策。6. Agent运行时与多Agent模式在编排之上AutoGen、CrewAI、LangGraph等Agent运行时框架支持构建多Agent协作和半自动或全自动工作流。这些框架通常提供消息通道、记忆模块以及工具接口使得Agent之间可以进行角色分工和协同。多Agent系统带来更强的表达能力和扩展性但也引入调试难度和鲁棒性挑战需要通过日志、可视化工具和健康检查机制进行支撑。7. 评估、可观测性与安全策略评估工具和安全策略是从试验环境走向生产环境的关键一环。需要定义针对准确性、信息来源可靠性是否忠实于检索内容、风格一致性、鲁棒性等维度的指标并建立自动评估流水线。安全策略可以包括基于规则的过滤、策略引擎以及基于LLM的内容审查。无论采用哪种方案都应明确被拦截请求的处理方式拒绝、脱敏、升级人工审核并将相关信息纳入审计日志。8. 部署模式与基础设施在实际部署中很多团队选择基于Kubernetes构建LLM服务栈结合GPU调度、自动扩缩容和滚动升级等能力。也有团队使用裸机集群或云厂商提供的托管GPU服务来承载模型服务层和向量库。基础设施设计需要统筹网络拓扑向量库与模型服务之间的距离、密钥与凭证管理、索引备份与恢复、以及跨区域部署等问题。通常会集成PrometheusGrafana或OpenTelemetry等可观测性栈对核心KPI进行统一监控。