Ollama Windows 本地部署全指南：从零开始搭建大模型运行环境

Ollama Windows 本地部署全指南从零开始搭建大模型运行环境本文将带你一步步在 Windows 系统上完成 Ollama 的部署包括解决安装路径限制、模型下载加速、以及验证模型是否在显卡上运行等关键问题。一、我的硬件环境先交代一下本次部署的硬件配置方便大家对照参考组件型号/规格处理器Intel Core i5-14600KF 3.50 GHz内存32.0 GB可用 31.8 GB显卡RTX 5070 12GB 显存存储1.82 TB说明RTX 5070 拥有 12GB 显存理论上可以流畅运行 7B 参数级别的模型。但新手建议先从 1.5B 小模型开始尝试熟悉流程后再逐步升级。二、下载 Ollama访问 Ollama 官网https://ollama.comWindows 平台会得到一个.exe安装包。三、绕过 C 盘安装限制关键步骤⚠️ 问题说明Ollama 官方安装包默认强制安装到 C 盘且安装过程中没有提供图形化的路径选择界面。对于 C 盘空间紧张的用户来说这非常不友好。✅ 解决方案命令行安装通过命令行方式启动安装包可以自定义安装路径。操作步骤打开命令提示符CMD或 PowerShell导航到安装包所在目录执行以下命令OllamaSetup.exe /DIRD:\YourCustomPath\Ollama注意安装路径不建议包含中文建议使用全英文路径。我这里图中使用了中文路径属于错误示范请勿模仿。可以看到数据已被正确安装到目标路径四、启动 Ollama 与修改模型下载路径1. 启动方式不要直接双击.exe文件运行否则会提示错误“Ollama must be run from the command line”正确的启动方式是通过命令行进入安装目录后执行.\ollama app.exe小技巧在 VSCode 终端中进入该目录后输入ollama再按Tab键系统会自动补全为 .\ollama app.exe。2. 修改模型下载位置启动 Ollama 后点击左侧Settings设置菜单在设置界面中将Model Location修改为你希望的模型下载路径。同样不建议放在 C 盘同时建议删除 C 盘默认路径下的残留文件位于C:\Users\用户名\.ollama\models以节约 C 盘空间五、配置环境变量双重保险只修改软件内部的模型路径有时仍会出现模型被下载到 C 盘的问题。经过实测需要同时配置系统环境变量才能彻底解决。操作步骤右键“此电脑”→属性在系统信息下找到“高级系统设置”→环境变量在用户变量区域点击“新建”变量名OLLAMA_MODELS变量值你的模型下载路径与软件内部设置保持一致经验总结简单测试发现单独改软件内部路径或只添加环境变量均无效两项都改完才能让模型正常下载到指定目录。六、下载模型1. 从 Ollama 官方源下载速度较慢Ollama 提供了模型广场可以直接在命令行中拉取模型。以DeepSeek-R1 1.5B为例ollama run deepseek-r1:1.5b官网有提供下载的CLI命令但实测下载速度非常缓慢经常只有100 KB/s左右2. 从国内镜像站加速下载推荐使用国内 ModelScope魔搭社区镜像站进行加速下载速度提升显著。访问地址https://modelscope.cn/models注意事项需要选择GGUF 格式的模型因为 Ollama 使用的是该格式。输入关键词搜索deepseek-r1-1.5B即可找到相关模型。本次我选择的是模型bartowski/DeepSeek-R1-Distill-Qwen-1.5B-GGUF从名称可以看出这是一个以 Qwen 模型为基底、从 DeepSeek-R1 蒸馏而来的小模型——它继承了 DeepSeek 的推理逻辑但体积大幅缩小。下载命令格式ollama pull modelscope.cn/你的模型名字实际操作ollama pull modelscope.cn/bartowski/DeepSeek-R1-Distill-Qwen-1.5B-GGUF可以看到下载速度明显提升几分钟内即可完成。3. 初步验证已下载的模型使用以下命令查看本地已有模型列表ollama list七、测试运行模型1. 启动 Ollama 并开始对话在命令行(ollama安装目录下)执行.\ollama app.exe会启动ollama的UI界面。然后在 UI界面中新建对话选择刚下载的模型进行测试体验感受1.5B 模型确实有些呆呆的对于复杂问题的回答能力有限。这符合预期——它体积小、速度快但智力上限较低。2. 验证模型是否在显卡上运行使用ollama ps命令查看当前运行的模型状态ollamaps从输出可以看到模型已经在 GPU显卡上运行说明配置成功八、总结与后续建议关键要点回顾序号要点1Ollama 默认安装到 C 盘需通过命令行/DIR参数指定安装路径2模型下载路径需要在软件设置和系统环境变量中同时修改3从 ModelScope 等国内镜像站下载 GGUF 格式模型速度远超官方源4使用ollama ps验证模型是否运行在 GPU 上部署完成Ollama后可以做什么尝试更大的模型例如我的12GB 显存的 RTX 5070 可以尝试运行 7B 级别的模型, 他们的能力会比 1.5B 强很多。结合 接入到你的WEB程序为你的WEB应用或接入一个对话框页面像deepseek官网那样和本地的模型进行对话。接入本地知识库配合 RAG检索增强生成技术让模型基于你自己的文档进行问答。