【AI编程思考：第五篇】学习检索增强生成（RAG）——从原理到实战

第一章 RAG大型语言模型LLM虽然强大但有一个根本性的局限知识被“冻结”在训练数据中。不知道公司的内部规章、最新的产品手册也无法访问本地的项目文档。核心矛盾LLM 博学但不“知情”。RAGRetrieval-Augmented Generation检索增强生成正是为解决这一矛盾而生。它的思想非常朴素先查—— 从你的私有知识库中检索相关片段再答—— 将检索到的内容作为“参考资料”连同问题一起交给 LLM让它基于这些依据生成答案。这样AI 既能发挥语言理解能力又能保证回答的事实性和可溯源。正因如此绝大多数生产级 AI Agent 都会采用 RAG 架构。第二章 RAG 的核心工作流程一个标准的 RAG 系统可以拆解为两个阶段索引Indexing和查询Querying。查询阶段索引阶段原始文档PDF/Word/网页数据分块Chunking生成嵌入向量Embedding存入向量数据库Vector DB用户问题生成问题嵌入向量向量检索语义搜索重排序Reranking构建增强提示上下文 问题LLM 生成答案输出带引用的回答流程解读索引阶段离线完成。把文档切碎、转成向量、存进库中。查询阶段在线实时。将用户问题也转成向量去库里找最相似的“碎片”再交给 LLM 作答。第三章 关键原理简述3.1 嵌入向量Embedding—— 让文字“可计算”计算机不懂语义但懂得数学空间。嵌入向量是将一段文本句子、段落或整篇文档映射为一个高维浮点数数组如 768 维或 1536 维。相似含义的文本其向量在空间中距离更近例如“猫”和“ feline”。不相关的文本向量则相距甚远。直观理解把每段文字“投影”到一个巨大的语义地图上位置越近意思越像。现代嵌入模型如text-embedding-3-small、BGE正是通过大量语料训练学会了这种“语义投影”能力。3.2 数据分块Chunking—— 给知识“切配菜”LLM 的上下文窗口有限即便现在很长但检索效率会随长度下降所以我们不能把整本手册直接塞进去。需要分块过大会带入噪声检索精度下降。过小丢失上下文回答变得碎片化。常用策略固定长度分块如每 500 字符带重叠overlap以保留边界信息。语义分块基于句子边界或段落结构更智能但耗时。好的分块是 RAG 质量的“地基”。3.3 向量数据库Vector DB—— 语义检索的“图书馆”普通数据库SQL擅长精确匹配如“价格 100”但无法做“相似度搜索”。向量数据库专为此设计它内置近似最近邻ANN索引能在百万级向量中快速找到最相似的 Top-K。主流选项Pinecone—— 全托管云服务上手快。Weaviate—— 开源 云支持混合搜索。Chroma—— 轻量级适合本地学习和原型开发。3.4 语义搜索 vs 混合搜索 vs 重排序 —— 三层进阶方法原理优点缺点纯语义搜索仅用向量相似度检索理解同义词、上下文忽略关键词精确匹配如产品编号混合搜索向量检索 关键词检索如 BM25合并结果兼顾语义和精确性结果可能包含噪声重排序Rerank先用混合搜索召回 Top-N如 50 条再用更精密的交叉编码器对它们重新打分选出最终 Top-K精度最高过滤冗余计算成本略高实际生产建议混合搜索 重排序是黄金组合既能保证召回率又能提升精排质量。第四章 实战入门构建一个 PDF 聊天机器人这是最经典、最有效的 RAG 入门项目。一个项目串联所有核心概念。项目架构用户上传 PDF解析文本分块嵌入存入 Chroma用户提问嵌入问题混合检索 重排序构建上下文调用 LLM流式输出答案保存对话历史下次检索时附带记忆技术栈嵌入向量—— 使用sentence-transformers或 OpenAI Embeddings。检索—— 用 Chroma 做相似性检索并尝试加入 BM25 混合检索。提示注入处理—— 用户可能试图“越狱”如“忽略上述指令”你需要设计安全提示模板将用户输入与系统指令隔离。上下文管理—— 如何将检索到的多段文本拼接成不超过窗口长度的上下文。记忆设计—— 不仅检索当前问题还检索历史对话摘要让 Agent 拥有“短期记忆”实现多轮对话。第五章 学习路线2026-07-072026-07-092026-07-112026-07-132026-07-152026-07-172026-07-192026-07-212026-07-232026-07-252026-07-272026-07-292026-07-312026-08-01理解嵌入 向量基础动手用 Chroma 存/查向量分块策略实验搭建简单检索无LLM接入 LLM 生成答案添加提示模板 安全过滤混合搜索 重排序多轮对话记忆设计第1周第2周第3周第4周RAG 学习建议路线4~6周建议不要一上来就追求完美。先用最小可行版本纯向量检索 简单 LLM 调用跑通再逐步替换为混合搜索和重排序。第六章 常见陷阱与最佳实践陷阱解决方案分块太大导致检索不准调整块大小256~512 token增加重叠检索到的片段顺序混乱按原始文档顺序或相关性分数排序再拼接用户问题中夹杂恶意指令使用“系统提示词”固定角色并将用户问题作为纯文本参数传入多轮对话中丢失历史维护一个对话摘要缓冲区每次检索时一并嵌入摘要向量数据库冷启动先用小样本测试确保嵌入模型与数据库维度一致总结RAG 不是一门玄学而是一套工程化的知识外挂方案。它的灵魂在于检索决定下限生成决定上限。只要你掌握了嵌入、分块、向量检索、混合排序和记忆管理就能让通用 LLM 变成你专属领域的“万事通”。动手写一个聊天机器人 —— 它是通往 RAG 高手最坚实的那块垫脚石。