DeepSeek本地化部署

0. 本地化部署DeepSeek作用数据安全隐私适合对数据保密要求高的场景将数据留本地防外泄满足规定。性能提升避免数据传输延迟适用于实时性要求高的应用还可按需优化本地计算资源。业务定制可针对法律、教育等特殊行业和场景对模型定制开发满足独特需求。网络适应性强减少网络依赖在网络不佳或无网络环境中保证业务正常运行。尤其适合内网环境部署大模型。1. ollamaOllama是一个免费开源跨平台的大型语言模型工具可让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。具有模型管理便捷、支持多种模型、本地运行优势、任务处理多样、易于集成和使用、支持模型微调与自定义等特点。1.1 下载ollama登录ollama官网 Ollama下载Windows版本1.2 安装ollama程序默认安装在C盘安装结束后在cmd中输入“ollama”回车显示如下即为安装成功如果提示找不到该命令检查环境变量是否有该配置如果有就重启电脑没有就是未安装成功可重新安装。2. 下载模型在ollama官网点击“Models”-“deepseek-r1”2.1 选择合适的模型。这里的XXbb为billion即为十亿代表模型参数量。数据越大回答质量越高同样需要的GPU资源越高即显卡性能越强。在下载前可先查看配置要求。例如笔记本没有独立显卡下载1.5b普通有独立显卡笔记本7b/8b均能运行台式机单张RTX3080 8G显卡可流畅运行14b模型32b模型很慢。2.2将对应命令粘贴到cmd中待下载完成后显示 “success”后DeepSeek本地部署成功。3.安装第三方工具为实现交互UI界面类似于APP的效果需要下载和配置第三方工具cherry studio3.1 下载安装cherry studioCherry Studio 官方网站 - 全能的AI助手 官网下载可选择默认安装全部下一步。3.2 配置点击左下角“设置”关闭“硅基流动”,打开“ollama”在ollama中点击“管理”。选择合适的ollama模型。点击“检查”如果弹出“连接成功”弹窗即为连接成功。在“默认模型”里将默认助手模型改为上一步配置的模型。这时所有部署完成可以进行大模型相关操作了。4.设置开放局域网供其他电脑使用Windows中如果不设置ollama只能本机访问其他电脑无法访问。不需要将局域网所有电脑都安装大模型服务只安装Ollama到一台显卡配置高的电脑上用作服务端其他电脑只需要安装客户端即可正常访问。这需要相关配置。4.1服务端设置环境变量1右键点击“此电脑”或“计算机”选择“属性”在左侧点击“高级系统设置”在弹出的窗口中点击“环境变量”。2在“系统变量”部分点击“新建”在“变量名”输入框中输入OLLAMA_HOST在“变量值”输入框中输入0.0.0.0然后点击“确定”。3关闭并重新启动Ollama服务以使环境变量生效。4.2 服务端开放防火墙端口Ollama服务默认使用端口11434。为了允许局域网中的其他设备访问该服务需要在Windows防火墙中开放此端口。步骤1打开“控制面板”搜索并选择“Windows Defender 防火墙”。2在左侧点击“高级设置”进入高级防火墙设置页面。3在左侧菜单中点击“入站规则”然后在右侧点击“新建规则”。4选择“端口”作为规则类型点击“下一步”。5选择“TCP”在“特定本地端口”一栏中输入11434点击“下一步”。6选择“允许连接”点击“下一步”。7根据需求选择应用的网络类型域、专用或公用点击“下一步”。8为这条规则命名如“Allow Ollama Port 11434”点击“完成”。4.3 客户端调用如在cherry studio中将API地址改为http://(部署ollama服务的电脑IP):(端口号) 比如我的客户端改为http://10.16.17.18:11434并选择对应模型即可在同局域网不同电脑中用客户端进行大模型使用。5.删除模型如果你发现本地部署完DeepSeek后电脑变得异常卡顿或者下载的模型参数不适配电脑这样就需要删除5.1查看模型列表打开cmd命令提示符输入“ollama list”查看当前部署的模型列表。5.2删除指定模型根据你要删除的模型版本输入相应的命令。例如如果要删除32b版本的DeepSeek输入“ollama rm deepseek-r1:32b”并按下回车键。再次输入“ollama list”查看当前部署的模型列表