从零搭建大模型应用：Python、NLP 与 LangChain 项目实战

摘要随着大语言模型LLM技术的快速发展如何基于大模型快速构建实用、可落地的应用已经成为开发者必备的核心能力。本文将以一个完整的项目案例为线索从 Python 环境配置、NLP 基础概念、LangChain 框架核心模块到最终实现一个可交互的智能问答系统一步步带你从零搭建大模型应用。无论你是刚接触大模型开发的应届生还是想快速入门 LangChain 的开发者都能通过本文掌握从理论到实践的完整流程为后续的项目开发和求职面试打下坚实基础。一、项目背景与技术栈概述1.1 项目目标本项目将构建一个基于 LangChain 的私有知识库问答系统用户可以上传自定义文档系统能够基于文档内容进行智能问答避免大模型的 “幻觉” 问题实现精准的知识检索与回答。通过这个项目你将掌握以下核心能力熟练使用 Python 进行大模型应用开发理解 NLP 基础技术在大模型应用中的作用掌握 LangChain 的核心组件与工作流程实现大模型 API 调用、向量数据库存储、RAG 检索增强生成的完整链路1.2 核心技术栈介绍我们的项目将用到以下技术它们也是当前大模型开发岗位的核心要求表格技术 / 工具 作用 岗位匹配度Python 项目开发语言大模型应用开发的首选语言 ★★★★★LangChain 大模型应用开发框架用于构建 RAG、智能体等应用 ★★★★★LlamaIndex 可选补充框架优化文档索引与检索效率 ★★★★☆OpenAI API / 开源大模型 API 提供大模型能力支持 ★★★★☆ChromaDB / FAISS 轻量级向量数据库存储文档向量 ★★★★☆NLTK / spaCy NLP 基础工具用于文本预处理 ★★★☆☆二、环境搭建与 Python 基础准备2.1 开发环境配置首先我们需要配置好 Python 开发环境推荐使用 Python 3.9 及以上版本确保兼容性。创建虚拟环境bash运行创建虚拟环境python -m venv langchain-env激活虚拟环境Windowslangchain-env\Scripts\activate激活虚拟环境Mac/Linuxsource langchain-env/bin/activate安装核心依赖库bash运行pip install langchain langchain-openai langchain-community chromadb python-dotenv pypdf nltklangchain: LangChain 核心库langchain-openai: 对接 OpenAI 大模型的 LangChain 组件chromadb: 轻量级向量数据库用于存储文档向量pypdf: 读取 PDF 文档nltk: NLP 基础工具包2.2 Python 基础回顾大模型开发必备语法大模型开发中Python 的以下语法是高频使用的快速回顾一下环境变量管理使用python-dotenv管理 API 密钥避免硬编码泄露python运行from dotenv import load_dotenvimport osload_dotenv() # 加载.env文件中的变量openai_api_key os.getenv(“OPENAI_API_KEY”)异步编程基础LangChain 中很多组件支持异步调用简单了解 async/awaitpython运行import asyncioasync def async_llm_call(prompt):# 异步调用大模型的示例逻辑return “模型返回结果”asyncio.run(async_llm_call(“你好”))三、NLP 基础大模型应用背后的核心逻辑很多开发者在学习大模型应用时容易忽略 NLP 基础但理解这些概念能帮你更好地排查问题、优化应用效果。3.1 文本预处理NLP 的第一步在将文档输入大模型之前我们需要对文本进行清洗和处理常见操作包括文本清洗去除特殊字符、多余空格、换行符等python运行import redef clean_text(text):# 去除特殊字符text re.sub(r’[^\w\s]‘, ‘’, text)# 去除多余空格text re.sub(r’\s, ’ , text).strip()return text分词与分句将长文本拆分成适合处理的单元python运行import nltknltk.download(‘punkt’)from nltk.tokenize import sent_tokenize, word_tokenizetext “大模型应用开发需要Python和LangChain。这是一个重要的技术方向。”sentences sent_tokenize(text) # 分句words word_tokenize(text) # 分词print(“分句结果”, sentences)print(“分词结果”, words)文本分块Chunking为了适配大模型的上下文窗口限制将长文档拆分成小块这是 RAG 应用的关键步骤。LangChain 中提供了多种分块器我们后续会用到。3.2 词向量与嵌入模型让机器理解文本大模型无法直接理解文本需要将文本转化为向量形式这个过程就是文本嵌入Embedding。什么是文本嵌入文本嵌入是将文本映射到高维向量空间的过程语义相似的文本会被映射到相近的向量位置。例如“LangChain 是大模型开发框架” 和 “LangChain 用于构建大模型应用” 这两句话会被嵌入为相似度很高的向量。LangChain 中的嵌入模型使用我们可以使用 OpenAI 的嵌入模型也可以使用开源的本地嵌入模型python运行from langchain_openai import OpenAIEmbeddings初始化OpenAI嵌入模型embeddings OpenAIEmbeddings(model“text-embedding-ada-002”, api_keyopenai_api_key)将文本转换为向量text “LangChain是大模型应用开发框架”vector embeddings.embed_query(text)print(f向量维度{len(vector)})四、LangChain 框架核心模块详解LangChain 的核心是通过模块化的组件将大模型、提示词、数据存储、工具调用等能力组合起来构建复杂的应用。我们按核心模块逐一讲解4.1 大模型封装LLM WrappersLangChain 提供了统一的接口支持对接不同的大模型包括 OpenAI GPT、Anthropic Claude、国内开源模型等。OpenAI 模型调用示例python运行from langchain_openai import ChatOpenAI初始化ChatOpenAI模型llm ChatOpenAI(model“gpt-3.5-turbo”,temperature0.7, # 控制生成文本的随机性0-1之间值越大越随机api_keyopenai_api_key)调用模型生成回答response llm.invoke(“什么是LangChain”)print(“模型回答”, response.content)温度Temperature参数说明temperature0模型会生成最确定、最保守的回答适合问答、知识类场景temperature1模型会生成更具创造性、多样性的回答适合文案创作、头脑风暴场景4.2 提示词模板Prompt Templates提示词是大模型应用的核心好的提示词能让模型输出更符合预期的结果。LangChain 的PromptTemplate可以帮助我们标准化、复用提示词。基础提示词模板python运行from langchain_core.prompts import PromptTemplate定义提示词模板prompt PromptTemplate(input_variables[“question”],template“你是一个技术专家请用通俗易懂的语言回答用户的问题{question}”)生成提示词formatted_prompt prompt.format(question“什么是RAG技术”)print(“生成的提示词”, formatted_prompt)结合模型调用response llm.invoke(formatted_prompt)print(“模型回答”, response.content)Few-Shot 提示词模板对于需要示例引导的场景可以使用 Few-Shot 模板python运行from langchain_core.prompts import FewShotPromptTemplate定义示例examples [{“question”: “LangChain是什么”, “answer”: “LangChain是一个用于构建大模型应用的开发框架。”},{“question”: “RAG是什么”, “answer”: “RAG是检索增强生成技术用于让大模型基于外部知识回答问题。”}]example_prompt PromptTemplate(input_variables[“question”, “answer”],template“用户问题{question}\n模型回答{answer}”)few_shot_prompt FewShotPromptTemplate(examplesexamples,example_promptexample_prompt,suffix“用户问题{question}\n模型回答”,input_variables[“question”])formatted_prompt few_shot_prompt.format(question“什么是文本嵌入”)print(“Few-Shot提示词”, formatted_prompt)4.3 文档加载器Document LoadersLangChain 支持加载多种格式的文档包括 PDF、Word、TXT、网页、数据库等我们的项目需要加载 PDF 文档使用PyPDFLoaderpython运行from langchain_community.document_loaders import PyPDFLoader加载PDF文档loader PyPDFLoader(“knowledge_base.pdf”) # 替换为你的PDF文件路径documents loader.load()print(f加载的文档页数{len(documents)}“)print(f第一页文档内容{documents[0].page_content[:100]}…”) # 打印前100个字符4.4 文本分块器Text Splitters加载完文档后我们需要将长文档拆分成小块方便后续嵌入和检索。LangChain 提供了多种分块器最常用的是RecursiveCharacterTextSplitterpython运行from langchain_text_splitters import RecursiveCharacterTextSplitter初始化文本分块器text_splitter RecursiveCharacterTextSplitter(chunk_size1000, # 每个块的最大字符数chunk_overlap200, # 块之间的重叠字符数避免上下文断裂length_functionlen,add_start_indexTrue,)对文档进行分块splits text_splitter.split_documents(documents)print(f分块后的文档数量{len(splits)}“)print(f第一个分块内容{splits[0].page_content[:100]}…”)4.5 向量数据库与检索器Vector Stores Retrievers分块后的文档需要转化为向量存储起来后续用户提问时我们会将问题也转化为向量从数据库中检索出最相关的文档块再交给大模型生成回答。使用 ChromaDB 构建向量数据库python运行from langchain_chroma import Chroma初始化向量数据库vectorstore Chroma.from_documents(documentssplits,embeddingembeddings,persist_directory“./chroma_db” # 数据库持久化路径)持久化数据库vectorstore.persist()print(“向量数据库构建完成”)创建检索器python运行从向量数据库创建检索器设置检索返回前3个最相关的文档块retriever vectorstore.as_retriever(search_kwargs{“k”: 3})测试检索功能query “什么是LangChain的核心组件”retrieved_docs retriever.invoke(query)print(f检索到的相关文档数量{len(retrieved_docs)}“)print(f第一个相关文档内容{retrieved_docs[0].page_content[:150]}…”)4.6 链Chains将组件串联起来LangChain 的核心思想是 “链”通过链将提示词、模型、检索器等组件组合起来形成完整的工作流。我们将使用RetrievalQA链构建基于检索的问答系统。python运行from langchain.chains import RetrievalQA定义RAG问答链qa_chain RetrievalQA.from_chain_type(llmllm,chain_type“stuff”, # 链类型stuff表示将所有检索到的文档直接拼接到提示词中retrieverretriever,return_source_documentsTrue # 是否返回源文档方便后续溯源)测试问答链query “什么是RAG技术它有什么作用”result qa_chain.invoke(query)print(“用户问题”, query)print(“模型回答”, result[“result”])print(“源文档”, result[“source_documents”][0].page_content[:200] “…”)五、项目实战构建私有知识库问答系统现在我们将前面的所有模块整合起来完成一个完整的私有知识库问答系统。5.1 项目完整代码python运行from dotenv import load_dotenvimport osfrom langchain_openai import ChatOpenAI, OpenAIEmbeddingsfrom langchain_community.document_loaders import PyPDFLoaderfrom langchain_text_splitters import RecursiveCharacterTextSplitterfrom langchain_chroma import Chromafrom langchain.chains import RetrievalQAfrom langchain_core.prompts import PromptTemplate1. 加载环境变量load_dotenv()openai_api_key os.getenv(“OPENAI_API_KEY”)2. 初始化核心组件大模型llm ChatOpenAI(model“gpt-3.5-turbo”,temperature0.3,api_keyopenai_api_key)嵌入模型embeddings OpenAIEmbeddings(model“text-embedding-ada-002”, api_keyopenai_api_key)3. 加载并处理文档def load_and_process_document(pdf_path):# 加载PDF文档loader PyPDFLoader(pdf_path)documents loader.load()# 分块处理text_splitter RecursiveCharacterTextSplitter(chunk_size1000,chunk_overlap200,length_functionlen)splits text_splitter.split_documents(documents)return splits4. 构建向量数据库def build_vector_db(splits, persist_dir“./chroma_db”):vectorstore Chroma.from_documents(documentssplits,embeddingembeddings,persist_directorypersist_dir)vectorstore.persist()return vectorstore5. 自定义提示词模板prompt_template “”你是一个专业的知识库问答助手只能基于用户提供的文档内容回答问题。如果文档中没有相关信息请直接回答“我无法从知识库中找到相关信息”不要编造答案。请用简洁明了的语言回答用户的问题。上下文信息{context}用户问题{question}回答“”QA_PROMPT PromptTemplate(templateprompt_template,input_variables[“context”, “question”])6. 构建问答链def build_qa_chain(vectorstore):retriever vectorstore.as_retriever(search_kwargs{“k”: 3})qa_chain RetrievalQA.from_chain_type(llmllm,chain_type“stuff”,retrieverretriever,chain_type_kwargs{“prompt”: QA_PROMPT},return_source_documentsTrue)return qa_chain7. 主函数ifname “main”:# 替换为你的PDF文档路径pdf_path “knowledge_base.pdf”# 处理文档splits load_and_process_document(pdf_path)# 构建向量数据库vectorstore build_vector_db(splits)# 构建问答链qa_chain build_qa_chain(vectorstore)print(私有知识库问答系统已启动输入退出结束对话) while True: user_query input(你) if user_query 退出: break result qa_chain.invoke(user_query) print(f助手{result[result]}) # 可选打印源文档 # print(f参考文档{result[source_documents][0].page_content[:150]}...)5.2 项目运行与效果测试准备工作创建.env文件写入你的 OpenAI API 密钥envOPENAI_API_KEY你的API密钥准备测试文档将需要构建知识库的 PDF 文档放在项目目录下命名为knowledge_base.pdf运行代码执行上述 Python 脚本即可启动问答系统。测试效果输入与文档内容相关的问题模型会基于文档内容回答输入文档中没有的问题模型会提示无法找到相关信息有效避免了大模型的幻觉问题。六、项目优化与扩展提升应用效果完成基础项目后我们可以从以下几个方面优化和扩展应用让它更符合实际需求6.1 优化文本分块策略针对不同类型的文档调整chunk_size和chunk_overlap技术文档可以设置更大的chunk_size对话类文档可以设置更小的chunk_size使用更高级的分块器如MarkdownTextSplitter针对 Markdown 文档、RecursiveJsonSplitter针对 JSON 数据6.2 优化检索效果调整检索数量k平衡检索速度和信息完整性使用混合检索如关键词检索 向量检索提升检索准确率对检索到的文档块进行重排序如使用 LangChain 的ContextualCompressionRetriever6.3 模型与框架扩展对接国内开源大模型如通义千问、文心一言、Llama 2 等降低使用成本引入 LlamaIndex 优化文档索引提升大规模知识库的检索效率加入工具调用能力让模型可以调用计算器、搜索引擎等外部工具6.4 部署为 Web 应用使用 Streamlit 或 Gradio 快速搭建 Web 界面让应用可以通过浏览器访问更方便使用python运行简单的Streamlit界面示例import streamlit as stst.title(“私有知识库问答系统”)uploaded_file st.file_uploader(“上传你的PDF知识库文档”, type“pdf”)if uploaded_file is not None:# 保存上传的文件with open(“uploaded.pdf”, “wb”) as f:f.write(uploaded_file.getbuffer())# 处理文档、构建向量数据库和问答链# …前面的处理逻辑user_query st.text_input(“请输入你的问题”)if user_query:result qa_chain.invoke(user_query)st.write(“回答”, result[“result”])七、总结与求职 / 学习建议通过本文的项目实战你已经掌握了 Python、NLP 与 LangChain 构建大模型应用的完整流程这个项目也是当前大模型开发岗位中非常加分的实战经历。7.1 核心知识点回顾Python 是大模型应用开发的基础掌握环境管理、依赖安装和异步编程是必备能力NLP 基础中的文本预处理、文本嵌入是大模型应用的底层逻辑LangChain 的核心组件包括模型封装、提示词模板、文档加载器、分块器、向量数据库和链RAG 技术是解决大模型幻觉问题的关键也是当前企业级大模型应用的主流方案7.2 学习与求职建议项目优化将本文的项目进行扩展比如支持多文档上传、添加对话历史记录、优化检索效果把项目打磨成可以写进简历的亮点。技术拓展学习 LangChain 的高级功能如智能体Agents、工具调用、记忆模块等尝试构建更复杂的应用。原理学习深入学习 GPT、BERT 等主流大模型的原理理解 NLP 基础理论提升自己的技术深度。实践输出将项目过程写成博客、制作成演示视频在 CSDN、GitHub 等平台分享既能巩固知识也能提升求职竞争力。八、写在最后从零搭建大模型应用不仅是技术能力的提升更是对大模型应用开发流程的完整理解。随着大模型技术的不断发展掌握这些基础能力你就能快速跟上技术趋势开发出更多实用、有趣的应用。希望本文能为你打开大模型应用开发的大门后续我会分享更多关于 LangChain 高级应用、开源大模型微调的内容欢迎持续关注。