从0到1打造AI控制台：基于LangChain+FAISS+RAG的全栈实践

从0到1打造AI控制台基于LangChainFAISSRAG的全栈实践作者: [唐重]标签: #LLM #RAG #Agent #FastAPI #Vue3阅读时间: 15分钟前言为什么我要做这个系统2025-2026年AI Agent已经从概念验证进入大规模落地阶段但真正能把AI能力无缝整合到业务场景的系统仍然不多。我是一名有5年经验的Java工程师在AI浪潮下开始探索Agent开发。在这个过程中我发现一个痛点用户不想关心该用哪个AI能力他们只想要一个入口输入问题得到答案。现有的解决方案往往是聊天归聊天ChatGPT知识库归知识库各种RAG Demo数据库归数据库SQL Copilot能不能做一个智能工作台自动判断用户意图调用对应的AI能力这就是我开发这个AI控制台系统的初衷。系统架构三层分离模块化设计整体架构图┌─────────────────────────────────────────────────────┐ │ 前端层 (Vue 3) │ │ WorkspaceView | ChatView | RagView | DataView │ └────────────────────┬────────────────────────────────┘ │ HTTP/JSON ┌────────────────────┴────────────────────────────────┐ │ 接口层 (FastAPI) │ │ /chat/stream | /admin/api/rag | /admin/api/db │ │ classify_chat_route() ← 智能路由核心 │ └────────────────────┬────────────────────────────────┘ │ 调用 ┌────────────────────┴────────────────────────────────┐ │ 能力层 (Python) │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │Advanced │ │RagService│ │Database │ │ │ │Agent │ │ │ │Service │ │ │ └──────────┘ └──────────┘ └──────────┘ │ │ ↓ ↓ ↓ │ │ LLM API FAISS索引 SQL执行器 │ └─────────────────────────────────────────────────────┘技术栈选型层级技术选型理由前端Vue 3 Vite轻量级生态成熟后端FastAPI原生支持异步适合流式输出LLMOpenAI API / 兼容接口稳定成本低向量检索FAISS scikit-learn本地化部署无需外部API数据库MySQL SQLite支持企业主流数据库核心功能一智能路由最值得讲的技术亮点痛点用户不想选模式传统AI助手需要用户手动切换“我要查知识库” → 切换到RAG模式“我要查数据库” → 切换到SQL模式“随便聊聊” → 切换到聊天模式我的解决方案让系统自动判断。实现三层路由策略第一层规则优先最快# api_server.pydefclassify_chat_route(message:str):# 规则1显式指定ifmessage.startswith(/rag ):returnrag,用户显式指定RAG模式ifmessage.startswith(/db ):returndatabase,用户显式指定数据库模式# 规则2正则表达式匹配ifre.search(r查\s*(知识库|文档),message):returnrag,检测到知识库关键词第二层关键词 召回打分混合# 数据库关键词检测db_keywords[查询,数据库,表,记录,SQL]db_scoresum(1forkwindb_keywordsifkwinmessage)# RAG召回打分rag_docsrag_service.retrieve(message,top_k3)rag_scorerag_docs[0][score]ifrag_docselse0# 综合判断ifdb_score2:returndatabase,数据库关键词命中ifrag_score0.7:returnrag,RAG召回分数过高第三层LLM路由兜底# 如果前两层都无法确定调用LLM判断promptf用户问题{message}请判断该问题应该走哪种模式 A. 普通聊天 B. 知识库查询 C. 数据库查询 只返回字母。routellm.invoke(prompt).strip()return{A:chat,B:rag,C:database}[route],LLM路由效果展示输入我想知道公司2025年Q1的销售额另外帮我查一下员工手册里关于请假的规定路由结果{route:database,reason:检测到销售额为数据库关键词且RAG召回分数较低,answer:...,sql:SELECT SUM(amount) FROM orders WHERE quarter2025Q1}用户无需关心后端逻辑只管问问题。核心功能二RAG知识库工程化实现完整Pipeline文档上传 → 解析 → 分片 → 向量化 → 索引存储 → 检索 → 生成答案关键技术点1. 文档解析支持docx/txt# admin_services.py - RagServicedefadd_document(self,title:str,content:str):# 1. 文本分片chunksself._chunk_text(content)# 2. 向量化本地TF-IDF SVDifnotself._vectorizer_fitted:self._fit_local_pipeline(chunks)# 3. 更新FAISS索引self._rebuild_index()# 4. 持久化self._save_documents()2. 向量化无需外部APIdef_fit_local_pipeline(self,texts:List[str]):# 用TF-IDF提取文本特征fromsklearn.feature_extraction.textimportTfidfVectorizer self._vectorizerTfidfVectorizer(max_features384)tfidf_matrixself._vectorizer.fit_transform(texts)# 用SVD降维到384维兼容OpenAI Embeddings维度fromsklearn.decompositionimportTruncatedSVD self._svdTruncatedSVD(n_components384)self._svd.fit(tfidf_matrix)优势无需调用OpenAI Embeddings API省钱本地化部署数据不出域效果接近商用Embedding模型3. 检索与生成defanswer(self,query:str,llm_call:callable):# 1. 检索Top-K相关片段docsself.retrieve(query,top_k3)# 2. 拼装上下文context\n.join([doc[content]fordocindocs])# 3. 让LLM基于上下文回答promptf基于以下参考资料回答问题 参考资料{context}问题{query}只基于参考资料回答不要编造。answerllm_call(prompt)returnanswer,docs效果展示知识库内容员工手册:请假规定 - 年假5天 - 病假需提供医院证明 - 事假提前3天申请用户输入年假有几天系统回答根据知识库内容年假有5天。核心功能三数据库问答Text2SQL痛点业务人员不会写SQL传统方案培训业务人员学SQL成本高找技术员帮忙查效率低我的方案让AI把自然语言转成SQL。实现流程# admin_services.py - DatabaseServicedefask(self,question:str,llm_call:callable):# 1. 读取数据库Schemaschemaself.get_schema(connection_id)# 2. 构造Promptpromptf数据库表结构{schema}用户问题{question}请生成一条只读SQL查询语句不要包含DELETE/UPDATE/INSERT。# 3. 调用LLM生成SQLsqlllm_call(prompt)# 4. 安全校验防止危险操作ifnotself._is_readonly_sql(sql):return{error:只允许SELECT语句}# 5. 执行SQLrowsself.execute_query(connection_id,sql)# 6. 让LLM总结结果summaryllm_call(fSQL执行结果{rows}\n请用自然语言总结。)return{sql:sql,rows:rows,summary:summary}安全控制重要def_is_readonly_sql(self,sql:str)-bool:# 禁止危险关键字dangerous_keywords[DELETE,UPDATE,INSERT,DROP,TRUNCATE]forkwindangerous_keywords:ifkwinsql.upper():returnFalsereturnTrue效果展示用户输入帮我查一下2025年Q1销售额最高的前10个客户系统生成SQLSELECTcustomer_name,SUM(amount)astotalFROMordersWHEREorder_dateBETWEEN2025-01-01AND2025-03-31GROUPBYcustomer_nameORDERBYtotalDESCLIMIT10系统返回{sql:SELECT ...,rows:[[客户A,1200000],[客户B,980000],...],summary:2025年Q1销售额最高的客户是客户A总额120万元。}核心功能四多Agent协作专家模式场景复杂任务需要多个角色配合例如“帮我写一份关于AI Agent的市场分析报告”单一Agent无法完成需要研究员Agent搜集资料作家Agent撰写报告评论家Agent审核修改实现TaskPlanner MultiAgentSystem# advanced_agent_tutorial/main.pydefcollaborate(self,task:str):# 1. TaskPlanner分解任务subtasksself.task_planner.decompose(task)# 返回[研究AI Agent定义, 分析市场规模, 总结技术趋势]# 2. 多Agent协作执行results[]forsubtaskinsubtasks:resultself.multi_agent_system.collaborate(subtask)results.append(result)# 3. 汇总结果return\n.join(results)# multi_agent_system.pydefcollaborate(self,subtask:str):# 协调员LLM决定哪个Agent最适合planself.llm.invoke(f子任务{subtask}\n应该用哪个Agent)# 执行if研究员inplan:returnself.researcher.act(subtask)elif作家inplan:returnself.writer.act(subtask)elif评论家inplan:returnself.critic.act(subtask)效果输入帮我写一份AI Agent市场分析报告执行流程1. TaskPlanner分解 - 研究AI Agent定义和历史 - 分析2025年市场规模 - 总结技术趋势 2. 研究员Agent 根据维基百科AI Agent是指... 3. 作家Agent ## AI Agent市场分析报告\n### 1. 定义... 4. 评论家Agent 建议增加竞品分析章节 5. 最终输出完整的Markdown报告工程化特性为什么这个系统能落地1. 流式输出提升用户体验# api_server.pyapp.post(/chat/stream)asyncdefchat_stream(request:ChatRequest):asyncdefgenerate():# 使用SSE (Server-Sent Events)forchunkinagent.chat_stream(request.message):yieldfdata:{chunk}\n\nreturnStreamingResponse(generate(),media_typetext/event-stream)前端效果像ChatGPT一样逐字显示。2. 模型配置动态管理无需重启# api_server.pydefload_model_config():# 从文件读取配置withopen(runtime_data/model_config.json)asf:returnjson.load(f)app.put(/admin/api/config/model)defupdate_model_config(config:ModelConfig):# 动态更新配置save_model_config(config)# 下次对话自动使用新模型业务价值运维人员可以在界面上切换模型GPT-4 → Claude无需重启服务。3. 会话隔离多用户支持# 每个session_id对应一个Agent实例sessions{}defget_or_create_agent(session_id:str):ifsession_idnotinsessions:sessions[session_id]AdvancedAgent()returnsessions[session_id]效果用户A和用户B的对话上下文完全隔离。项目复盘踩过的坑与解决方案坑1RAG检索准确率低问题用户问年假有几天检索到了病假需要证明不相关。原因TF-IDF向量化没有考虑语义相似度。解决方案改进分片策略按句子而非固定长度增加Hybrid Search向量 关键词已接入BGE-M3 Embedding模型2025年完成坑2自然语言转SQL失败率高问题复杂JOIN查询生成错误。原因Prompt中没有提供足够的Schema信息。解决方案# 改进Prompt增加Few-shot示例promptf数据库表结构{schema}示例1 问题查询销售额最高的客户 SQLSELECT customer_name, SUM(amount) FROM orders GROUP BY customer_name ORDER BY SUM(amount) DESC LIMIT 1 示例2 问题{question}SQL坑3流式输出卡顿问题前端显示卡住实际后端还在生成。原因SSE没有正确处理心跳。解决方案asyncdefgenerate():yieldfdata:{chunk}\n\n# 每5秒发送一次心跳yieldf:heartbeat\n\n项目成果与未来规划当前成果✅功能完整性智能路由准确率 85%RAG检索Top-3准确率 80%Text2SQL成功率 70%✅工程化水平支持多用户并发模型配置热更新完整的日志与监控✅可扩展性模块化设计易于添加新能力如邮件助手、日历管理未来规划短期1-2个月接入更好的Embedding模型BGE-M3增加多轮对话上下文理解支持更多数据库PostgreSQL、Oracle中期3-6个月添加工具调用能力Function Calling支持多模态输入图片 文字部署到生产环境Docker K8s长期6个月开源到GitHub写技术博客分享经验打造成企业级AI助手产品技术总结从Java工程师到Agent开发者我学到了什么1. Python异步编程# Java的CompletableFuture → Python的async/awaitasyncdefchat_stream():forchunkinllm.stream():yieldchunk2. 向量检索原理TF-IDF、SVD、FAISS索引Embedding模型的维度选择相似度计算余弦相似度3. Prompt EngineeringFew-shot LearningChain-of-ThoughtReAct框架Reasoning Acting4. 系统设计中遇到的新问题如何管理Agent的记忆如何防止LLM幻觉如何控制Token成本给Java工程师的建议如果你也像我一样有Java后台经验想转型Agent开发✅不要放弃Java优势系统设计能力微服务、分布式→ Agent系统架构工程化思维监控、日志、部署→ LLM应用落地✅快速补齐Python/LLM短板LangChain框架1周RAG原理1周Prompt Engineering1周✅做一个完整项目不要只跑通Tutorial解决实际问题如自动化周报生成开源到GitHub建立技术影响力结语AI时代的工程师竞争力2025-2026年Agent工程师已经成为企业AI转型的核心岗位。但这个岗位的要求不仅仅是会调用LLM API而是能够把AI能力落地到业务场景解决真实问题。这个项目的价值不在于用了多少前沿算法而在于✅完整的系统设计前端 后端 AI能力层✅工程化思考流式输出、配置管理、安全控制✅用户视角智能路由、统一入口如果你也在探索Agent开发欢迎交流参考资料LangChain官方文档FAISS向量检索FastAPI异步编程RAG综述论文如果你觉得这篇文章有帮助欢迎点赞 收藏欢迎在评论区分享你的Agent开发经验**