开源大模型本地化部署实战：从DeepSeek-Coder到私有AI服务 1. 项目概述一个面向开发者的AI模型本地化部署方案最近在开发者圈子里关于如何高效、低成本地利用开源大语言模型进行本地化部署和深度定制成了一个绕不开的热门话题。很多朋友都在寻找一个既能够提供强大推理能力又能在自己的硬件上流畅运行同时还能根据具体业务需求进行微调的解决方案。如果你也正在为如何将AI能力真正“私有化”到自己的开发环境或项目中而头疼那么今天分享的这个名为“malminhas/deepseek”的项目或许能给你带来一些全新的思路和可以直接“抄作业”的实操路径。简单来说“malminhas/deepseek”并非一个官方的DeepSeek模型发布而是一个由社区开发者“malminhas”创建和维护的GitHub仓库。它的核心价值在于提供了一套经过实践验证的、针对特定版本DeepSeek模型例如DeepSeek-Coder进行本地部署、微调Fine-tuning和高效推理的完整工具链与配置方案。你可以把它理解为一个“开箱即用”的工程化样板它帮你封装了从模型下载、环境配置、服务启动到应用集成的一系列复杂步骤让你能更专注于模型本身的应用和业务逻辑开发而不是在环境依赖和配置冲突中反复折腾。这个项目主要解决了几个关键痛点首先是部署标准化它通过清晰的文档和脚本统一了不同操作系统和硬件环境下的部署流程减少了“在我机器上能跑”的玄学问题。其次是性能优化仓库中通常会包含针对消费级显卡如NVIDIA RTX系列或CPU进行推理优化的参数配置和技巧让有限的硬件资源也能发挥出不错的性能。最后是可扩展性它为后续的模型微调、API服务封装提供了基础框架方便开发者在此基础上进行二次开发。无论你是想搭建一个本地的代码辅助工具、一个智能问答机器人还是为内部系统嵌入AI能力这个项目都能提供一个坚实且高效的起点。2. 核心架构与工具链深度解析2.1 项目定位与技术栈选型“malminhas/deepseek”项目本质上是一个工程实践导向的解决方案集合而非一个理论研究或模型训练项目。因此它的技术栈选择紧紧围绕“实用、稳定、易维护”这三个核心原则展开。通常这类项目会基于Python生态因为Python在AI/ML领域拥有最丰富的库支持和最活跃的社区。核心框架层面项目极有可能围绕transformers库构建这是Hugging Face推出的明星库提供了加载、使用和微调数千种预训练模型的标准接口对DeepSeek模型的支持非常成熟。同时为了加速推理往往会集成vLLM或TGI这样的高性能推理服务器。vLLM以其创新的PagedAttention注意力算法闻名能极大提升吞吐量并减少内存碎片特别适合批量处理或长文本生成场景。而TGI则提供了生产级的HTTP和gRPC API方便直接集成到Web服务中。选择哪一个取决于你的主要场景是离线批量任务还是在线实时服务。模型加载与量化是另一个关键点。原始的DeepSeek模型动辄数十GB为了在消费级硬件上运行项目肯定会引入模型量化技术。常见的选择是bitsandbytes库提供的8-bit或4-bit量化它能将模型显存占用降低数倍而性能损失在可接受范围内。更进阶的玩法可能会集成GPTQ或AWQ等后训练量化方法这些方法能实现更极致的压缩和更低的精度损失。仓库的README或配置文件中通常会明确标注推荐的量化方式和对应的加载命令。开发与部署辅助工具也必不可少。Docker和docker-compose的配置文件几乎是标配用于实现环境隔离和一键部署。依赖管理则通常由requirements.txt或pyproject.toml配合poetry来负责。为了监控模型运行状态可能还会集成像prometheusgrafana这样的监控栈或者简单的日志输出配置。注意在克隆和使用这类社区项目时第一件事就是仔细阅读README.md理解作者预设的技术栈和版本要求。盲目安装最新版本的库很可能遇到不兼容的问题。一个稳妥的做法是先在项目提供的Docker环境或按照指定的版本号配置虚拟环境成功跑通后再考虑升级。2.2 环境准备与依赖安装的避坑指南万事开头难环境配置往往是劝退新手的第一道坎。“malminhas/deepseek”项目如果能提供清晰的环境准备指引价值就已经体现了一半。我们假设一个典型的基于Ubuntu/CentOS和NVIDIA GPU的配置流程并拆解其中的关键步骤和潜在陷阱。第一步系统级依赖检查。这不仅仅是安装Python那么简单。首先需要确认CUDA版本与你的NVIDIA驱动、以及后续要安装的torch版本是否兼容。一个经典的命令组合是nvidia-smi查看驱动和可支持的CUDA最高版本然后去PyTorch官网对照表格选择正确的torch安装命令。例如驱动支持CUDA 12.1那么安装torch时就应选择cu121的版本。如果项目使用了flash-attention等需要编译的加速库那么gcc、make、cmake等构建工具也必须提前备好。第二步Python虚拟环境隔离。强烈建议使用conda或venv创建独立的Python环境。这能避免与系统Python或其他项目的包发生冲突。使用conda的一个额外好处是它可以方便地安装指定版本的CUDA Toolkit和cudnn有时比在系统层面安装更干净。创建环境的命令类似conda create -n deepseek-env python3.10然后conda activate deepseek-env。第三步安装核心依赖。这里需要严格按照项目提供的requirements.txt文件来安装。如果项目没有提供则需要根据代码中的import语句手动分析。一个常见的安装顺序是先安装与硬件强相关的torch带CUDA支持再安装transformers、accelerate、bitsandbytes等。安装bitsandbytes时尤其要注意它可能需要从源码编译以适应你的CUDA版本如果使用预编译的wheel失败可以尝试从项目的GitHub release页面寻找对应版本。第四步模型文件准备。这是最耗时的步骤。你需要从Hugging Face Hub下载指定的DeepSeek模型。项目文档里应该会给出模型的repo_id例如deepseek-ai/deepseek-coder-6.7b-instruct。使用huggingface-cli下载是最佳实践huggingface-cli download --resume-download deepseek-ai/deepseek-coder-6.7b-instruct --local-dir ./models/deepseek-coder-6.7b。务必添加--resume-download参数因为模型文件很大网络中断后可续传。国内用户可能会遇到下载慢的问题可以配置镜像源或者寻找国内的托管平台。实操心得在安装依赖时我习惯将pip的默认源替换为国内镜像如清华、阿里云速度会快很多。命令是pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple。另外对于需要编译的库如果报错首先检查错误日志通常是缺少某个系统开发库如python3-dev、build-essential安装对应包即可。2.3 配置文件与核心参数解读一个优秀的工程化项目会将大多数可调参数抽取到配置文件如config.yaml、config.json或.env文件中而不是硬编码在脚本里。“malminhas/deepseek”项目理应如此。理解这些配置参数的含义是进行定制化调整的基础。我们来剖析几个最关键的配置模块。模型加载配置这部分参数决定了模型如何被加载到内存和显存中。model: name_or_path: ./models/deepseek-coder-6.7b-instruct # 模型本地路径或HF仓库ID torch_dtype: bfloat16 # 模型计算精度bfloat16是精度和速度的较好平衡 device_map: auto # 让accelerate库自动分配模型层到可用设备GPU/CPU load_in_8bit: true # 是否使用8-bit量化加载大幅减少显存false则加载原版 load_in_4bit: false # 是否使用4-bit量化更省显存但可能损失更多精度device_map: “auto”是一个智能选项当显存不足时它会自动将部分模型层卸载到CPU内存利用CPU和GPU的混合计算这比完全无法加载要实用得多。文本生成配置这组参数控制模型生成文本的行为直接影响输出质量和速度。generation: max_new_tokens: 512 # 生成内容的最大长度 temperature: 0.7 # 温度参数控制随机性。0.0为确定性输出贪心值越高越随机、有创意 top_p: 0.95 # 核采样参数与temperature配合使用控制候选词的概率分布 repetition_penalty: 1.1 # 重复惩罚大于1.0可降低重复内容生成 do_sample: true # 是否使用采样而非贪心解码为true时temperature和top_p才生效temperature和top_p是需要根据任务调整的。对于代码生成这类需要准确性的任务temperature可以设低一些如0.2-0.5对于创意写作则可以调高如0.8-1.0。top_p通常设置在0.9-0.95能平衡多样性和质量。推理服务器配置如果集成了vLLM或TGIserver: host: 0.0.0.0 # 服务监听地址 port: 8000 # 服务端口 api_key: your_secret_key_here # 可选的API密钥用于简单鉴权 vllm: tensor_parallel_size: 1 # 张量并行度通常等于GPU数量 gpu_memory_utilization: 0.9 # GPU内存利用率目标0.9表示使用90%的显存 max_num_seqs: 16 # 同时处理的最大请求序列数影响并发能力tensor_parallel_size是多GPU并行推理的关键。如果你的机器有两张GPU可以设置为2模型会自动切分到两张卡上从而能加载更大的模型或提升吞吐量。3. 从零到一的本地部署与启动实战3.1 基于Docker的一键部署流程对于追求环境纯净和部署便捷性的用户Docker无疑是最佳选择。如果“malminhas/deepseek”项目提供了Dockerfile和docker-compose.yml那么部署过程会变得异常简单。下面我们还原一个典型的操作流程。首先确保你的宿主机已经安装了Docker和NVIDIA Container Toolkit如果使用GPU。后者是让Docker容器能够调用宿主GPU的关键。安装完成后可以通过docker run --rm --gpus all nvidia/cuda:12.1.1-base-ubuntu22.04 nvidia-smi命令测试GPU在容器内是否可见。接下来进入项目根目录。通常docker-compose.yml文件已经配置好了服务。一个简化的版本可能长这样version: 3.8 services: deepseek-api: build: . image: deepseek-server:latest container_name: deepseek-server ports: - 8000:8000 deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] volumes: - ./models:/app/models # 将本地模型目录挂载到容器内 - ./logs:/app/logs environment: - MODEL_PATH/app/models/deepseek-coder-6.7b-instruct - QUANTIZE8bit command: [python, app/server.py]这个配置做了几件事基于当前目录的Dockerfile构建镜像将容器的8000端口映射到宿主机的8000端口声明需要所有GPU资源将本地的models和logs目录挂载到容器内这样模型数据可以持久化日志也能在宿主机查看通过环境变量传递模型路径和量化方式。部署命令只有两步构建镜像docker-compose build。这个过程会安装所有Python依赖时间可能较长。启动服务docker-compose up -d。-d参数表示后台运行。启动后可以通过docker logs -f deepseek-server查看实时日志确认服务是否正常启动。如果看到类似“Model loaded successfully”、“Server running on http://0.0.0.0:8000”的日志就表示成功了。此时你可以在宿主机上通过curl http://localhost:8000/v1/completions或访问/docs端点如果集成了Swagger来测试API。注意事项使用Docker部署时最大的坑在于显存和内存的分配。如果容器启动失败并提示CUDA out of memory你需要检查1)docker-compose.yml中GPU资源声明是否正确2) 环境变量中的量化配置是否开启如load_in_8bit: true3) 模型本身是否过大。可以通过docker stats命令监控容器的资源使用情况。3.2 脚本化启动与交互式测试如果不使用Docker或者你需要进行更灵活的调试和开发那么直接通过Python脚本启动是更直接的方式。项目通常会提供一个主启动脚本例如run_server.py或cli_demo.py。一个典型的启动脚本核心部分如下from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline import torch # 1. 加载模型和分词器 model_path ./models/deepseek-coder-6.7b-instruct tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) # 注意根据配置选择量化方式加载模型 model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.bfloat16, device_mapauto, load_in_8bitTrue, # 或 load_in_4bitTrue trust_remote_codeTrue ) # 2. 构建文本生成管道 pipe pipeline( text-generation, modelmodel, tokenizertokenizer, device_mapauto ) # 3. 定义生成参数 generation_args { max_new_tokens: 512, temperature: 0.2, top_p: 0.95, repetition_penalty: 1.1, do_sample: True, } # 4. 交互式循环 print(DeepSeek-Coder 本地模型已加载。输入你的问题或代码需求输入 quit 退出:) while True: user_input input(\n ) if user_input.lower() quit: break if not user_input.strip(): continue # 构建符合模型格式的提示词 messages [ {role: user, content: user_input} ] prompt tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) # 生成 outputs pipe(prompt, **generation_args) generated_text outputs[0][generated_text] # 只打印模型新生成的部分 response generated_text[len(prompt):] print(f\n模型回复:\n{response})运行这个脚本python cli_demo.py。首次运行会加载模型耗时取决于你的磁盘速度和模型大小加载完成后就进入交互式命令行界面。如何进行有效测试不要只问“你好”这对于代码模型没有意义。应该用具体的编程任务来测试代码补全输入一段不完整的函数定义看它能否补全。代码解释贴一段复杂的代码问“这段代码是做什么的”Bug修复提供一段有错误的代码和错误信息问“如何修复这个错误”算法实现用自然语言描述一个算法比如“用Python写一个快速排序函数”。通过多样化的测试你可以切身感受模型的强项比如它可能在Python代码生成上很强和弱项比如对某些冷门库不熟悉或者逻辑复杂的任务会出错从而明确其在你工作流中的定位。3.3 集成到现有应用API服务封装要让模型能力被其他应用调用将其封装成HTTP API是最通用的做法。如果项目没有自带服务器我们可以用FastAPI快速搭建一个。以下是一个极简但功能完整的API服务器示例# server.py from fastapi import FastAPI, HTTPException from pydantic import BaseModel from typing import List, Optional import uvicorn from .model_loader import pipe, generation_args # 假设模型加载逻辑封装在model_loader模块 app FastAPI(titleDeepSeek Local API, version1.0) class CompletionRequest(BaseModel): prompt: str max_tokens: Optional[int] 512 temperature: Optional[float] 0.7 stream: Optional[bool] False # 是否启用流式输出 app.post(/v1/completions) async def create_completion(request: CompletionRequest): try: # 覆盖默认生成参数 args generation_args.copy() if request.max_tokens: args[max_new_tokens] request.max_tokens if request.temperature: args[temperature] request.temperature # 非流式生成 if not request.stream: outputs pipe(request.prompt, **args) generated_text outputs[0][generated_text] # 计算使用的token数近似 input_ids pipe.tokenizer(request.prompt, return_tensorspt).input_ids total_ids pipe.tokenizer(generated_text, return_tensorspt).input_ids prompt_tokens input_ids.shape[1] completion_tokens total_ids.shape[1] - prompt_tokens return { choices: [{ text: generated_text, index: 0, finish_reason: length }], usage: { prompt_tokens: prompt_tokens, completion_tokens: completion_tokens, total_tokens: prompt_tokens completion_tokens } } else: # 流式生成实现略复杂需使用generate方法并yield结果 # 此处为简化返回提示 raise HTTPException(status_code501, detailStreaming not implemented yet.) except Exception as e: raise HTTPException(status_code500, detailstr(e)) app.get(/health) async def health_check(): return {status: healthy, model: loaded} if __name__ __main__: uvicorn.run(app, host0.0.0.0, port8000)这个API设计模仿了OpenAI的格式方便已有代码迁移。启动服务后你就可以用任何HTTP客户端如curl、Postman或Python的requests库来调用它curl -X POST http://localhost:8000/v1/completions \ -H Content-Type: application/json \ -d { prompt: 写一个Python函数计算斐波那契数列的第n项。, max_tokens: 200, temperature: 0.2 }将服务集成到你的应用中只需要将原本调用远程OpenAI API的代码替换为指向这个本地服务的地址和端点即可。这带来了数据隐私、网络延迟降低和成本可控的巨大优势。4. 性能调优、问题排查与进阶玩法4.1 推理性能优化实战技巧模型加载成功只是第一步让它跑得又快又好才是终极目标。性能优化主要围绕两个核心速度和显存。1. 利用Flash Attention 2加速这是目前最有效的推理加速手段之一尤其对于长序列。transformers库已经集成了对Flash Attention 2的支持但需要手动安装flash-attn包注意有CUDA版本要求并在加载模型时启用。model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.bfloat16, device_mapauto, load_in_8bitTrue, attn_implementationflash_attention_2, # 关键参数 trust_remote_codeTrue )启用后注意力计算会使用高度优化的CUDA内核推理速度尤其是预填充prefill阶段能有显著提升。但需注意它可能与某些量化方式或device_map“auto”存在兼容性问题需要实测。2. 批处理Batching提升吞吐量如果你的场景是处理大量独立请求如批量生成代码注释使用批处理能极大提升GPU利用率。pipeline本身支持传入一个列表进行批处理。但要注意批处理会增加显存占用需要根据max_new_tokens和批次大小调整。prompts [ “写一个冒泡排序函数。”, “解释Python的装饰器。”, “将以下JSON进行美化格式化...” ] # 设置 batch_size 根据显存调整 outputs pipe(prompts, batch_size2, **generation_args) for i, out in enumerate(outputs): print(fPrompt {i}: {out[generated_text]})3. 量化策略的精细选择如果8-bit量化后显存仍紧张或者你想尝试更极致的压缩可以考虑4-bit量化。bitsandbytes库的4-bit量化有两种主要模式nf4Normal Float 4和fp4Floating Point 4。nf4通常精度保持更好。from transformers import BitsAndBytesConfig quantization_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_compute_dtypetorch.bfloat16, bnb_4bit_quant_typenf4, # 或 fp4 bnb_4bit_use_double_quantTrue, # 嵌套量化进一步压缩 ) model AutoModelForCausalLM.from_pretrained( model_path, quantization_configquantization_config, # 替换 load_in_8bit device_mapauto, torch_dtypetorch.bfloat16, )更进阶的可以尝试GPTQ或AWQ量化。这些是更复杂的后训练量化方法通常能提供比bitsandbytes的4-bit更好的精度-压缩比。Hugging Face Hub上常有社区用户上传的GPTQ量化版模型你可以直接下载使用并用auto-gptq库加载。4. 使用vLLM进行生产级部署如果你对吞吐量和延迟有严苛要求强烈建议将模型切换到vLLM引擎。vLLM的安装和部署相对独立通常你需要将模型转换为它支持的格式通常就是原始的Hugging Face格式它直接支持。一个简单的启动命令如下python -m vllm.entrypoints.openai.api_server \ --model ./models/deepseek-coder-6.7b-instruct \ --served-model-name deepseek-coder \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.9 \ --max-num-seqs 16 \ --port 8000vLLM会自动提供一个与OpenAI API完全兼容的端点你的客户端代码几乎无需修改。它的性能尤其是在高并发下的吞吐量远超原生transformerspipeline。4.2 常见问题与故障排查手册在本地部署和运行大模型的过程中你几乎一定会遇到各种问题。下面是一个根据常见故障现象整理的排查清单。问题现象可能原因排查步骤与解决方案CUDA out of memory1. 模型太大显存不足。2. 批处理大小batch_size或序列长度max_length设置过高。3. 多个进程占用显存。1.启用量化使用load_in_8bit或load_in_4bit。2.启用CPU卸载确保device_map“auto”让accelerate自动处理。3.减少资源需求降低max_new_tokens减小batch_size。4.清空显存重启Python进程或使用torch.cuda.empty_cache()。5. 使用nvidia-smi命令确认是否有其他进程占用了显存。模型加载极慢或卡住1. 首次加载需要从网络下载模型文件或分词器配置。2. 模型文件损坏。3. 系统内存RAM不足导致频繁交换swapping。1.检查网络与缓存确认~/.cache/huggingface/目录下有模型文件且完整。2.离线加载确保MODEL_PATH指向正确的本地目录。3.检查内存使用htop或任务管理器查看内存使用确保有足够空闲内存通常需大于模型文件大小。4. 尝试使用trust_remote_codeTrue参数。生成速度非常慢1. 未使用GPU或GPU未正常工作。2. 未启用任何优化如Flash Attention。3. 使用CPU进行推理。4. 模型量化方式不当导致计算变慢。1.确认GPU在Python中执行print(torch.cuda.is_available())和print(torch.cuda.get_device_name(0))。2.启用优化尝试添加attn_implementation“flash_attention_2”需先安装flash-attn。3.检查设备映射打印model.hf_device_map查看模型各层是否真的在GPU上。4.尝试不同量化有时4-bit量化会比8-bit慢可以对比测试。生成内容质量差胡言乱语1. 温度temperature参数设置过高。2. 提示词prompt格式不符合模型训练时的格式。3. 模型本身未针对该任务进行指令微调。1.调整生成参数将temperature调低如0.1-0.3top_p调高0.9-0.95。2.格式化提示词对于指令微调模型使用聊天模板tokenizer.apply_chat_template来构建符合[INST]、SYS等格式的提示词。3.使用系统提示在提示词开头加入明确的指令如“你是一个专业的Python程序员请只生成代码。”API服务请求超时或无响应1. 服务进程崩溃。2. 单次生成时间过长超过HTTP超时时间。3. 并发请求过多服务排队。1.检查服务日志docker logs或直接查看应用日志寻找错误堆栈。2.设置超时在客户端和服务端设置合理的超时时间。对于长文本生成考虑使用流式响应SSE。3.优化性能参考上一节的性能优化技巧。4.增加服务实例使用Nginx等做负载均衡部署多个后端实例。实操心得遇到问题日志是你的第一手资料。务必养成查看详细日志的习惯。对于transformers库可以通过设置环境变量TRANSFORMERS_VERBOSITYerror或info、debug来调整日志级别获取更详细的内部信息。另外在社区如项目的GitHub Issues、Hugging Face论坛搜索错误信息大概率能找到解决方案因为你不是第一个踩坑的人。4.3 进阶模型微调与定制化当你已经熟练部署和调用基础模型后下一个自然的需求就是如何让模型更懂我的业务答案就是微调。微调可以让通用大模型在特定领域或任务上的表现大幅提升。微调前需要准备什么高质量数据集这是微调成功的关键。你需要准备一个JSONL格式的文件每行是一个对话样本符合模型训练时的格式。例如对于代码修复任务{messages: [{role: user, content: 这段Python代码有索引错误如何修复\npython\ndef get_element(arr, i):\n return arr[i]\n}, {role: assistant, content: 你需要先检查索引i是否在数组arr的有效范围内。可以这样修改\npython\ndef get_element(arr, i):\n if 0 i len(arr):\n return arr[i]\n else:\n return None # 或抛出异常\n}]}数据量从几百到几千条不等质量远比数量重要。足够的计算资源全参数微调需要大量显存即使是7B模型也可能需要多张A100。更实用的方法是参数高效微调如LoRA。微调脚本/工具你可以使用transformers的TrainerAPI自己写训练循环也可以使用更上层的库如**trl** 和peft。使用PEFTLoRA进行高效微调peft库让LoRA微调变得非常简单。核心步骤如下from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments from trl import SFTTrainer from peft import LoraConfig, get_peft_model import torch # 1. 加载基础模型和分词器同样可以使用量化加载以节省显存 model AutoModelForCausalLM.from_pretrained( base_model_name, torch_dtypetorch.bfloat16, device_mapauto, load_in_4bitTrue, # 使用QLoRA在4-bit量化基础上做LoRA ) tokenizer AutoTokenizer.from_pretrained(base_model_name) # 2. 配置LoRA lora_config LoraConfig( r8, # LoRA的秩影响参数量和效果通常8或16 lora_alpha32, target_modules[q_proj, v_proj], # 针对Transformer的哪些层通常是注意力层的Q, V矩阵 lora_dropout0.1, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 查看可训练参数占比通常只有原模型的0.1%-1% # 3. 配置训练参数 training_args TrainingArguments( output_dir./lora-checkpoints, num_train_epochs3, per_device_train_batch_size4, gradient_accumulation_steps4, learning_rate2e-4, fp16True, # 使用混合精度训练加速 logging_steps10, save_steps100, ) # 4. 使用SFTTrainer trainer SFTTrainer( modelmodel, argstraining_args, train_datasetdataset, # 你的训练数据集 dataset_text_fieldtext, # 如果你的数据集是文本列 tokenizertokenizer, max_seq_length1024, ) trainer.train()训练完成后你会得到一个小型的LoRA权重文件通常只有几MB到几十MB。在推理时你需要同时加载基础模型和LoRA权重from peft import PeftModel base_model AutoModelForCausalLM.from_pretrained(base_model_name, ...) model PeftModel.from_pretrained(base_model, ./lora-checkpoints/final)这样你就得到了一个专属于你业务场景的定制化模型而付出的存储和计算成本却非常低。本地部署和微调DeepSeek这类开源大模型是一个充满挑战但也极具成就感的过程。它不仅仅是技术上的实践更是一种思维方式的转变——从依赖远程API的黑盒服务转向掌控核心AI能力的自主建设。从按照“malminhas/deepseek”这样的优秀项目模板一步步搭建环境、解决报错到最终看到模型在自己的机器上流畅运行并解决实际问题这个过程中积累的经验和对模型内部机理的理解是单纯调用API无法比拟的。