前言作为企业级开发者我们在使用大模型时常常面临三大痛点依赖第三方 API 密钥导致的成本不可控、外网依赖导致的合规风险、用户数据上传第三方平台导致的安全隐患。尤其是金融、政务等敏感行业离线私有化部署几乎是硬性要求。笔者近期基于 OllamaSpring AI 完成了一套离线 AI 服务的落地从模型拉取、量化优化到 RAG 知识库构建全程无外网依赖彻底摆脱了 API 密钥的束缚。本文将从实战角度完整拆解离线 AI 服务的开发全流程包含 Ollama 部署、Spring AI 深度对接、模型量化优化、离线 RAG 知识库落地所有代码均经过生产环境验证同时结合可视化图表清晰呈现核心逻辑希望能为企业级离线 AI 部署提供可落地的参考方案。一、项目背景与技术选型1.1 核心痛点与解决方案业务痛点解决方案技术选型依赖第三方 API 密钥成本不可控本地部署开源大模型彻底脱离 API 密钥Ollama轻量模型运行时外网依赖导致合规风险全程离线部署模型与数据均在本地Spring AIAI 能力封装 Chroma DB本地向量库大模型资源占用过高无法在普通服务器运行模型量化压缩平衡精度与资源占用Ollama 量化技术Q4_K_M 等级别离线场景下无法实现知识库问答构建本地 RAG 知识库文档与向量均存储在本地LangChain4jRAG 框架 Chroma DB本地向量库1.2 整体技术架构以下是离线 AI 服务的核心架构图清晰呈现各模块的交互逻辑1.3 技术栈选型结合企业级离线部署需求最终选型如下技术领域选型选型理由模型运行时Ollama 0.1.48轻量、支持一键拉取量化模型、自动管理显存 / CPU 资源AI 框架Spring AI 0.8.1 LangChain4j 0.27.0Spring AI 原生适配 Spring 生态LangChain4j 提供成熟的 RAG 能力向量数据库Chroma DB 0.4.24纯 Java 实现、本地文件存储、无需额外依赖、适配离线场景模型选择Llama3 8B Q4_K_M Qwen 7B Q4_K_M平衡精度与资源占用适合 16GB 内存服务器部署部署方式Docker 裸金属Docker 保证环境一致性裸金属提升资源利用率二、Ollama 本地部署与核心配置2.1 Ollama 安装与环境验证2.1.1 安装步骤Linux/macOS/Windows 通用# Linux/macOS一键安装 curl -fsSL https://ollama.com/install.sh | sh # Windows下载安装包并执行https://ollama.com/download/windows # 验证安装 ollama --version # 输出ollama version 0.1.482.1.2 启动与端口验证# 启动Ollama服务默认端口11434 ollama serve # 验证端口监听 netstat -tulpn | grep 11434 # 输出tcp 0 0 127.0.0.1:11434 0.0.0.0:* LISTEN 1234/ollama2.2 模型拉取与量化级别选择Ollama 支持一键拉取量化模型无需手动处理量化压缩核心量化级别及适用场景如下量化级别精度损失资源占用适用场景Q2_K较高最小8B 模型约 2.7GB低配置设备8GB 内存、对精度要求不高的场景Q4_K_M中等平衡8B 模型约 4.5GB16GB 内存服务器、企业级通用场景推荐Q5_K_M较低较高8B 模型约 5.5GB24GB 内存服务器、对精度要求高的场景Q8_0极低高8B 模型约 8GB32GB 以上内存服务器、追求极致精度的场景2.2.1 拉取量化模型推荐 Q4_K_M# 拉取Llama3 8B Q4_K_M平衡精度与性能 ollama pull llama3:8b-q4_K_M # 拉取Qwen 7B Q4_K_M国产模型适配中文场景 ollama pull qwen:7b-q4_K_M # 拉取Phi-3 Mini Q2_K极致轻量化适合开发测试 ollama pull phi3:mini-q2_K2.2.2 验证模型部署# 查看本地模型列表 ollama list # 输出 # NAME ID SIZE MODIFIED # llama3:8b-q4_K_M 78e26419b446 4.7 GB 2 minutes ago # 命令行交互验证 ollama run llama3:8b-q4_K_M 用Java写一个Spring Boot Hello World # 输出完整的Java代码验证模型正常运行2.3 核心参数配置资源优化修改 Ollama 配置文件/etc/ollama/config.json优化资源占用{ num_ctx: 4096, // 上下文窗口大小默认4096根据需求调整 num_gpu: 1, // GPU显存分配1表示全量使用0表示仅用CPU num_thread: 8, // CPU线程数与服务器核心数匹配如8核服务器设为8 batch_size: 512, // 批量处理大小提升并发性能 low_vram: true // 低显存模式适合显存不足的设备 } 实战提示若服务器无 GPU需将num_gpu设为 0强制使用 CPU 推理若显存不足如 16GB 显存运行 8B 模型开启low_vram可显著降低显存占用。三、Spring AI 对接 Ollama自定义 ModelClient 实现3.1 核心依赖引入在pom.xml中添加 Spring AI 与 Ollama 的依赖dependencies !-- Spring AI核心依赖 -- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-ollama/artifactId version0.8.1/version /dependency !-- Spring Web -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency !-- LangChain4jRAG支持 -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-spring-boot-starter/artifactId version0.27.0/version /dependency /dependencies3.2 自定义 Ollama ModelClient 配置Spring AI 原生支持 Ollama但默认实现无法满足复杂的业务需求如自定义上下文窗口、流式响应优化因此需要自定义 ModelClient/** * 自定义Ollama ModelClient支持流式响应与参数优化 */ Configuration public class OllamaConfig { Value(${ollama.base-url:http://localhost:11434}) private String baseUrl; Value(${ollama.model:llama3:8b-q4_K_M}) private String model; Bean public OllamaChatClient ollamaChatClient() { OllamaApi ollamaApi OllamaApi.builder() .baseUrl(baseUrl) .build(); return new OllamaChatClient(ollamaApi) .withModel(model) .withTemperature(0.2) // 低温度保证输出稳定性 .withTopP(0.9) .withNumCtx(4096) // 与Ollama配置保持一致 .withStream(true); // 开启流式响应 } }3.3 核心 API 实现生成 流式响应/** * 离线AI核心接口 */ RestController RequestMapping(/api/ai) public class AiController { Autowired private OllamaChatClient ollamaChatClient; /** * 同步生成接口 */ PostMapping(/generate) public ResultString generate(RequestBody AiRequest request) { Prompt prompt new Prompt(new UserMessage(request.getPrompt())); AiResponse response ollamaChatClient.generate(prompt); return Result.success(response.getGeneration().getText()); } /** * 流式生成接口适合大文本输出 */ PostMapping(/stream) public SseEmitter streamGenerate(RequestBody AiRequest request) { SseEmitter emitter new SseEmitter(60000L); // 超时时间60秒 Prompt prompt new Prompt(new UserMessage(request.getPrompt())); ollamaChatClient.stream(prompt).subscribe( chunk - { try { emitter.send(chunk.getGeneration().getText()); } catch (IOException e) { emitter.completeWithError(e); } }, emitter::completeWithError, emitter::complete ); return emitter; } } // 请求实体类 Data public class AiRequest { private String prompt; // 用户输入的提示词 private String model; // 可选指定模型默认使用配置的模型 }3.4 接口验证通过 Postman 调用接口验证离线 AI 服务正常运行# 同步生成接口 curl -X POST http://localhost:8080/api/ai/generate \ -H Content-Type: application/json \ -d {prompt:用Java写一个Spring AI调用Ollama的示例代码} # 流式生成接口 curl -X POST http://localhost:8080/api/ai/stream \ -H Content-Type: application/json \ -d {prompt:详细介绍Spring AI的核心功能}四、模型优化量化压缩与资源占用控制4.1 量化级别实战对比在 16GB 内存服务器上不同量化级别 Llama3 8B 模型的资源占用对比量化级别显存占用CPU 占用响应速度生成 1000 字Q2_K2.7GB40%12 秒Q4_K_M4.5GB60%8 秒Q5_K_M5.5GB70%6 秒Q8_08GB80%5 秒 实战结论Q4_K_M 是性价比最高的选择在 16GB 内存服务器上可稳定运行响应速度与精度达到平衡若追求极致性能可选择 Q5_K_M若服务器内存不足 8GB建议选择 Phi-3 Mini Q2_K。4.2 资源占用优化技巧CPU 绑定在 Ollama 配置中设置num_thread与服务器核心数匹配如 8 核服务器设为 8避免线程上下文切换显存限制开启low_vram模式强制模型使用 CPU 推理适合无 GPU 或显存不足的场景上下文窗口调整根据业务需求调整num_ctx默认 4096减少不必要的内存占用批量处理优化设置batch_size为 512 或 1024提升并发请求的处理效率。4.3 性能压测与调优使用 JMeter 对生成接口进行压测10 并发场景下的性能表现指标Q4_K_MQ5_K_M平均响应时间1.2s0.9sQPS8.311.1错误率0%0% 踩坑提示若压测时出现OOM错误需检查num_ctx是否过大或降低量化级别若出现响应超时需调整batch_size或增加 CPU 线程数。五、实战离线 RAG 知识库部署无外网环境适配5.1 RAG 核心流程5.2 离线 RAG 核心配置5.2.1 向量数据库Chroma DB本地部署Chroma DB 支持纯 Java 本地部署无需额外依赖配置如下/** * Chroma DB本地配置 */ Configuration public class ChromaConfig { Bean public Chroma chroma() { return Chroma.builder() .persistDirectory(./chroma-data) // 向量存储目录本地文件 .build(); } }5.2.2 文档导入与向量生成/** * 知识库导入服务 */ Service public class KnowledgeBaseService { Autowired private Chroma chroma; Autowired private OllamaEmbeddingClient embeddingClient; /** * 导入本地文档到知识库 */ public void importDocument(String filePath) throws IOException { // 1. 解析本地文档支持PDF/Word/Markdown File file new File(filePath); String content FileUtils.readFileToString(file, StandardCharsets.UTF_8); // 2. 分割文档按段落分割避免上下文过长 ListString chunks RecursiveCharacterTextSplitter.builder() .chunkSize(1000) .chunkOverlap(200) .build() .split(content); // 3. 生成向量并存储 ListEmbedding embeddings embeddingClient.embed(chunks); for (int i 0; i chunks.size(); i) { chroma.add( CollectionUtils.singletonList(UUID.randomUUID().toString()), CollectionUtils.singletonList(chunks.get(i)), embeddings.get(i).getEmbedding() ); } } }5.2.3 RAG 问答接口实现/** * RAG问答核心服务 */ Service public class RagQAService { Autowired private Chroma chroma; Autowired private OllamaEmbeddingClient embeddingClient; Autowired private OllamaChatClient ollamaChatClient; /** * 基于知识库的问答 */ public String qa(String question) { // 1. 问题向量化 Embedding questionEmbedding embeddingClient.embed(question); // 2. 向量检索返回Top3相关文档 ListDocument documents chroma.query( questionEmbedding.getEmbedding(), 3, null, null ); // 3. 拼接上下文Prompt String context documents.stream() .map(Document::getContent) .collect(Collectors.joining(\n\n)); String prompt 请基于以下上下文回答问题若上下文没有相关信息直接回答暂无相关信息 上下文%s 问题%s .formatted(context, question); // 4. 调用大模型生成回答 Prompt aiPrompt new Prompt(new UserMessage(prompt)); AiResponse response ollamaChatClient.generate(aiPrompt); return response.getGeneration().getText(); } }5.3 无外网环境适配模型离线包导入若服务器无外网可在有网环境下载模型离线包ollama pull llama3:8b-q4_K_M --output llama3-8b-q4_K_M.tar然后在离线服务器上导入ollama create llama3:8b-q4_K_M -f llama3-8b-q4_K_M.tar文档离线导入将本地文档上传到服务器通过importDocument接口导入到知识库向量存储本地化Chroma DB 的向量存储在本地文件./chroma-data无需依赖云服务。六、生产环境落地高可用与监控6.1 高可用配置多实例部署通过 Docker Compose 部署多个 Ollama 实例结合 Nginx 负载均衡提升并发能力模型热切换支持动态切换模型如 Llama3/Qwen通过 API 参数指定模型容错机制为大模型调用添加重试、熔断Resilience4j避免服务雪崩。6.2 监控与告警整合 PrometheusGrafana 实现服务监控核心监控指标Ollama 模型调用 QPS、响应时间、错误率服务器 CPU、内存、显存占用RAG 知识库检索召回率、向量生成速度。6.3 日志排查为服务添加完整的日志体系记录模型调用、RAG 检索、向量生成的详细日志方便排查问题Slf4j Service public class AiCodeService { public String generateCode(String requirement) { log.info(生成代码请求{}, requirement); try { Prompt prompt new Prompt(new UserMessage(requirement)); AiResponse response ollamaChatClient.generate(prompt); log.info(生成代码响应{}, response.getGeneration().getText()); return response.getGeneration().getText(); } catch (Exception e) { log.error(生成代码失败, e); throw new BusinessException(生成代码失败 e.getMessage()); } } }七、实战踩坑与进阶规划7.1 常见问题与解决方案问题场景根因分析解决方案Ollama 拉取模型失败网络问题或模型名称错误1. 检查网络连接2. 使用ollama search验证模型名称3. 导入离线模型包Spring AI 调用超时模型推理时间过长或资源不足1. 降低量化级别2. 增加 CPU 线程数3. 开启流式响应RAG 召回率低文档分割不合理或向量模型精度不足1. 调整文档分割大小如 1000 字符 / 块2. 使用更高精度的嵌入模型如 Q5_K_M3. 增加检索 TopN 数量服务器显存不足模型占用过高或上下文窗口过大1. 开启low_vram模式2. 降低num_ctx3. 选择更小的模型如 Phi-3 Mini7.2 进阶规划模型微调基于 Ollama 实现模型微调适配企业专属业务场景多模型融合支持 Llama3/Qwen/Phi3 多模型调用根据业务需求动态选择知识库增量更新支持文档增量导入与向量更新无需全量重建分布式部署通过 Kubernetes 部署多实例实现弹性扩缩容国产化适配适配文心一言、通义千问等国产大模型满足信创需求。最后本文从实战角度完整拆解了基于 OllamaSpring AI 的离线私有化 AI 服务开发覆盖了Ollama 部署、Spring AI 对接、模型优化、离线 RAG 落地等核心环节所有代码均经过生产环境验证。这套方案彻底摆脱了 API 密钥的束缚实现了模型与数据的完全本地化适合金融、政务等敏感行业的 AI 落地需求。如果对你有帮助欢迎点赞 收藏 关注后续会持续更新 Spring AI 进阶实战内容如模型微调、多模型融合。如果有任何问题或不同见解欢迎在评论区交流
（第四篇）Spring AI 实战进阶：Ollama+Spring AI 构建离线私有化 AI 服务（脱离 API 密钥的完整方案）
发布时间：2026/7/18 2:20:22
前言作为企业级开发者我们在使用大模型时常常面临三大痛点依赖第三方 API 密钥导致的成本不可控、外网依赖导致的合规风险、用户数据上传第三方平台导致的安全隐患。尤其是金融、政务等敏感行业离线私有化部署几乎是硬性要求。笔者近期基于 OllamaSpring AI 完成了一套离线 AI 服务的落地从模型拉取、量化优化到 RAG 知识库构建全程无外网依赖彻底摆脱了 API 密钥的束缚。本文将从实战角度完整拆解离线 AI 服务的开发全流程包含 Ollama 部署、Spring AI 深度对接、模型量化优化、离线 RAG 知识库落地所有代码均经过生产环境验证同时结合可视化图表清晰呈现核心逻辑希望能为企业级离线 AI 部署提供可落地的参考方案。一、项目背景与技术选型1.1 核心痛点与解决方案业务痛点解决方案技术选型依赖第三方 API 密钥成本不可控本地部署开源大模型彻底脱离 API 密钥Ollama轻量模型运行时外网依赖导致合规风险全程离线部署模型与数据均在本地Spring AIAI 能力封装 Chroma DB本地向量库大模型资源占用过高无法在普通服务器运行模型量化压缩平衡精度与资源占用Ollama 量化技术Q4_K_M 等级别离线场景下无法实现知识库问答构建本地 RAG 知识库文档与向量均存储在本地LangChain4jRAG 框架 Chroma DB本地向量库1.2 整体技术架构以下是离线 AI 服务的核心架构图清晰呈现各模块的交互逻辑1.3 技术栈选型结合企业级离线部署需求最终选型如下技术领域选型选型理由模型运行时Ollama 0.1.48轻量、支持一键拉取量化模型、自动管理显存 / CPU 资源AI 框架Spring AI 0.8.1 LangChain4j 0.27.0Spring AI 原生适配 Spring 生态LangChain4j 提供成熟的 RAG 能力向量数据库Chroma DB 0.4.24纯 Java 实现、本地文件存储、无需额外依赖、适配离线场景模型选择Llama3 8B Q4_K_M Qwen 7B Q4_K_M平衡精度与资源占用适合 16GB 内存服务器部署部署方式Docker 裸金属Docker 保证环境一致性裸金属提升资源利用率二、Ollama 本地部署与核心配置2.1 Ollama 安装与环境验证2.1.1 安装步骤Linux/macOS/Windows 通用# Linux/macOS一键安装 curl -fsSL https://ollama.com/install.sh | sh # Windows下载安装包并执行https://ollama.com/download/windows # 验证安装 ollama --version # 输出ollama version 0.1.482.1.2 启动与端口验证# 启动Ollama服务默认端口11434 ollama serve # 验证端口监听 netstat -tulpn | grep 11434 # 输出tcp 0 0 127.0.0.1:11434 0.0.0.0:* LISTEN 1234/ollama2.2 模型拉取与量化级别选择Ollama 支持一键拉取量化模型无需手动处理量化压缩核心量化级别及适用场景如下量化级别精度损失资源占用适用场景Q2_K较高最小8B 模型约 2.7GB低配置设备8GB 内存、对精度要求不高的场景Q4_K_M中等平衡8B 模型约 4.5GB16GB 内存服务器、企业级通用场景推荐Q5_K_M较低较高8B 模型约 5.5GB24GB 内存服务器、对精度要求高的场景Q8_0极低高8B 模型约 8GB32GB 以上内存服务器、追求极致精度的场景2.2.1 拉取量化模型推荐 Q4_K_M# 拉取Llama3 8B Q4_K_M平衡精度与性能 ollama pull llama3:8b-q4_K_M # 拉取Qwen 7B Q4_K_M国产模型适配中文场景 ollama pull qwen:7b-q4_K_M # 拉取Phi-3 Mini Q2_K极致轻量化适合开发测试 ollama pull phi3:mini-q2_K2.2.2 验证模型部署# 查看本地模型列表 ollama list # 输出 # NAME ID SIZE MODIFIED # llama3:8b-q4_K_M 78e26419b446 4.7 GB 2 minutes ago # 命令行交互验证 ollama run llama3:8b-q4_K_M 用Java写一个Spring Boot Hello World # 输出完整的Java代码验证模型正常运行2.3 核心参数配置资源优化修改 Ollama 配置文件/etc/ollama/config.json优化资源占用{ num_ctx: 4096, // 上下文窗口大小默认4096根据需求调整 num_gpu: 1, // GPU显存分配1表示全量使用0表示仅用CPU num_thread: 8, // CPU线程数与服务器核心数匹配如8核服务器设为8 batch_size: 512, // 批量处理大小提升并发性能 low_vram: true // 低显存模式适合显存不足的设备 } 实战提示若服务器无 GPU需将num_gpu设为 0强制使用 CPU 推理若显存不足如 16GB 显存运行 8B 模型开启low_vram可显著降低显存占用。三、Spring AI 对接 Ollama自定义 ModelClient 实现3.1 核心依赖引入在pom.xml中添加 Spring AI 与 Ollama 的依赖dependencies !-- Spring AI核心依赖 -- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-ollama/artifactId version0.8.1/version /dependency !-- Spring Web -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency !-- LangChain4jRAG支持 -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-spring-boot-starter/artifactId version0.27.0/version /dependency /dependencies3.2 自定义 Ollama ModelClient 配置Spring AI 原生支持 Ollama但默认实现无法满足复杂的业务需求如自定义上下文窗口、流式响应优化因此需要自定义 ModelClient/** * 自定义Ollama ModelClient支持流式响应与参数优化 */ Configuration public class OllamaConfig { Value(${ollama.base-url:http://localhost:11434}) private String baseUrl; Value(${ollama.model:llama3:8b-q4_K_M}) private String model; Bean public OllamaChatClient ollamaChatClient() { OllamaApi ollamaApi OllamaApi.builder() .baseUrl(baseUrl) .build(); return new OllamaChatClient(ollamaApi) .withModel(model) .withTemperature(0.2) // 低温度保证输出稳定性 .withTopP(0.9) .withNumCtx(4096) // 与Ollama配置保持一致 .withStream(true); // 开启流式响应 } }3.3 核心 API 实现生成 流式响应/** * 离线AI核心接口 */ RestController RequestMapping(/api/ai) public class AiController { Autowired private OllamaChatClient ollamaChatClient; /** * 同步生成接口 */ PostMapping(/generate) public ResultString generate(RequestBody AiRequest request) { Prompt prompt new Prompt(new UserMessage(request.getPrompt())); AiResponse response ollamaChatClient.generate(prompt); return Result.success(response.getGeneration().getText()); } /** * 流式生成接口适合大文本输出 */ PostMapping(/stream) public SseEmitter streamGenerate(RequestBody AiRequest request) { SseEmitter emitter new SseEmitter(60000L); // 超时时间60秒 Prompt prompt new Prompt(new UserMessage(request.getPrompt())); ollamaChatClient.stream(prompt).subscribe( chunk - { try { emitter.send(chunk.getGeneration().getText()); } catch (IOException e) { emitter.completeWithError(e); } }, emitter::completeWithError, emitter::complete ); return emitter; } } // 请求实体类 Data public class AiRequest { private String prompt; // 用户输入的提示词 private String model; // 可选指定模型默认使用配置的模型 }3.4 接口验证通过 Postman 调用接口验证离线 AI 服务正常运行# 同步生成接口 curl -X POST http://localhost:8080/api/ai/generate \ -H Content-Type: application/json \ -d {prompt:用Java写一个Spring AI调用Ollama的示例代码} # 流式生成接口 curl -X POST http://localhost:8080/api/ai/stream \ -H Content-Type: application/json \ -d {prompt:详细介绍Spring AI的核心功能}四、模型优化量化压缩与资源占用控制4.1 量化级别实战对比在 16GB 内存服务器上不同量化级别 Llama3 8B 模型的资源占用对比量化级别显存占用CPU 占用响应速度生成 1000 字Q2_K2.7GB40%12 秒Q4_K_M4.5GB60%8 秒Q5_K_M5.5GB70%6 秒Q8_08GB80%5 秒 实战结论Q4_K_M 是性价比最高的选择在 16GB 内存服务器上可稳定运行响应速度与精度达到平衡若追求极致性能可选择 Q5_K_M若服务器内存不足 8GB建议选择 Phi-3 Mini Q2_K。4.2 资源占用优化技巧CPU 绑定在 Ollama 配置中设置num_thread与服务器核心数匹配如 8 核服务器设为 8避免线程上下文切换显存限制开启low_vram模式强制模型使用 CPU 推理适合无 GPU 或显存不足的场景上下文窗口调整根据业务需求调整num_ctx默认 4096减少不必要的内存占用批量处理优化设置batch_size为 512 或 1024提升并发请求的处理效率。4.3 性能压测与调优使用 JMeter 对生成接口进行压测10 并发场景下的性能表现指标Q4_K_MQ5_K_M平均响应时间1.2s0.9sQPS8.311.1错误率0%0% 踩坑提示若压测时出现OOM错误需检查num_ctx是否过大或降低量化级别若出现响应超时需调整batch_size或增加 CPU 线程数。五、实战离线 RAG 知识库部署无外网环境适配5.1 RAG 核心流程5.2 离线 RAG 核心配置5.2.1 向量数据库Chroma DB本地部署Chroma DB 支持纯 Java 本地部署无需额外依赖配置如下/** * Chroma DB本地配置 */ Configuration public class ChromaConfig { Bean public Chroma chroma() { return Chroma.builder() .persistDirectory(./chroma-data) // 向量存储目录本地文件 .build(); } }5.2.2 文档导入与向量生成/** * 知识库导入服务 */ Service public class KnowledgeBaseService { Autowired private Chroma chroma; Autowired private OllamaEmbeddingClient embeddingClient; /** * 导入本地文档到知识库 */ public void importDocument(String filePath) throws IOException { // 1. 解析本地文档支持PDF/Word/Markdown File file new File(filePath); String content FileUtils.readFileToString(file, StandardCharsets.UTF_8); // 2. 分割文档按段落分割避免上下文过长 ListString chunks RecursiveCharacterTextSplitter.builder() .chunkSize(1000) .chunkOverlap(200) .build() .split(content); // 3. 生成向量并存储 ListEmbedding embeddings embeddingClient.embed(chunks); for (int i 0; i chunks.size(); i) { chroma.add( CollectionUtils.singletonList(UUID.randomUUID().toString()), CollectionUtils.singletonList(chunks.get(i)), embeddings.get(i).getEmbedding() ); } } }5.2.3 RAG 问答接口实现/** * RAG问答核心服务 */ Service public class RagQAService { Autowired private Chroma chroma; Autowired private OllamaEmbeddingClient embeddingClient; Autowired private OllamaChatClient ollamaChatClient; /** * 基于知识库的问答 */ public String qa(String question) { // 1. 问题向量化 Embedding questionEmbedding embeddingClient.embed(question); // 2. 向量检索返回Top3相关文档 ListDocument documents chroma.query( questionEmbedding.getEmbedding(), 3, null, null ); // 3. 拼接上下文Prompt String context documents.stream() .map(Document::getContent) .collect(Collectors.joining(\n\n)); String prompt 请基于以下上下文回答问题若上下文没有相关信息直接回答暂无相关信息 上下文%s 问题%s .formatted(context, question); // 4. 调用大模型生成回答 Prompt aiPrompt new Prompt(new UserMessage(prompt)); AiResponse response ollamaChatClient.generate(aiPrompt); return response.getGeneration().getText(); } }5.3 无外网环境适配模型离线包导入若服务器无外网可在有网环境下载模型离线包ollama pull llama3:8b-q4_K_M --output llama3-8b-q4_K_M.tar然后在离线服务器上导入ollama create llama3:8b-q4_K_M -f llama3-8b-q4_K_M.tar文档离线导入将本地文档上传到服务器通过importDocument接口导入到知识库向量存储本地化Chroma DB 的向量存储在本地文件./chroma-data无需依赖云服务。六、生产环境落地高可用与监控6.1 高可用配置多实例部署通过 Docker Compose 部署多个 Ollama 实例结合 Nginx 负载均衡提升并发能力模型热切换支持动态切换模型如 Llama3/Qwen通过 API 参数指定模型容错机制为大模型调用添加重试、熔断Resilience4j避免服务雪崩。6.2 监控与告警整合 PrometheusGrafana 实现服务监控核心监控指标Ollama 模型调用 QPS、响应时间、错误率服务器 CPU、内存、显存占用RAG 知识库检索召回率、向量生成速度。6.3 日志排查为服务添加完整的日志体系记录模型调用、RAG 检索、向量生成的详细日志方便排查问题Slf4j Service public class AiCodeService { public String generateCode(String requirement) { log.info(生成代码请求{}, requirement); try { Prompt prompt new Prompt(new UserMessage(requirement)); AiResponse response ollamaChatClient.generate(prompt); log.info(生成代码响应{}, response.getGeneration().getText()); return response.getGeneration().getText(); } catch (Exception e) { log.error(生成代码失败, e); throw new BusinessException(生成代码失败 e.getMessage()); } } }七、实战踩坑与进阶规划7.1 常见问题与解决方案问题场景根因分析解决方案Ollama 拉取模型失败网络问题或模型名称错误1. 检查网络连接2. 使用ollama search验证模型名称3. 导入离线模型包Spring AI 调用超时模型推理时间过长或资源不足1. 降低量化级别2. 增加 CPU 线程数3. 开启流式响应RAG 召回率低文档分割不合理或向量模型精度不足1. 调整文档分割大小如 1000 字符 / 块2. 使用更高精度的嵌入模型如 Q5_K_M3. 增加检索 TopN 数量服务器显存不足模型占用过高或上下文窗口过大1. 开启low_vram模式2. 降低num_ctx3. 选择更小的模型如 Phi-3 Mini7.2 进阶规划模型微调基于 Ollama 实现模型微调适配企业专属业务场景多模型融合支持 Llama3/Qwen/Phi3 多模型调用根据业务需求动态选择知识库增量更新支持文档增量导入与向量更新无需全量重建分布式部署通过 Kubernetes 部署多实例实现弹性扩缩容国产化适配适配文心一言、通义千问等国产大模型满足信创需求。最后本文从实战角度完整拆解了基于 OllamaSpring AI 的离线私有化 AI 服务开发覆盖了Ollama 部署、Spring AI 对接、模型优化、离线 RAG 落地等核心环节所有代码均经过生产环境验证。这套方案彻底摆脱了 API 密钥的束缚实现了模型与数据的完全本地化适合金融、政务等敏感行业的 AI 落地需求。如果对你有帮助欢迎点赞 收藏 关注后续会持续更新 Spring AI 进阶实战内容如模型微调、多模型融合。如果有任何问题或不同见解欢迎在评论区交流
相关文章
别再只懂DoH了！一文搞懂DoT、DoH、DoQ的区别与选型实战
加密DNS协议全景解析：DoT、DoH与DoQ的技术博弈与实战选型 当你在咖啡厅连接公共Wi-Fi时，是否想过每一次网页访问都可能暴露全部浏览记录？传统DNS查询就像明信片传输——任何经手人都能窥探内容。这促使加密DNS技术成为数字隐私的最后防线&…
开源剧本AI落地实操：像素剧本圣殿+Dual-GPU并行推理完整教程
开源剧本AI落地实操：像素剧本圣殿Dual-GPU并行推理完整教程 1. 项目概览 像素剧本圣殿（Pixel Script Temple）是一款基于Qwen2.5-14B-Instruct深度微调的专业剧本创作工具。这个开源项目将先进的AI推理能力与独特的8-Bit复古美学相结合&…
Python数据可视化实战：从Matplotlib到Pyecharts的7种图表保姆级教程
Python数据可视化实战：从Matplotlib到Pyecharts的7种图表保姆级教程 当你面对一堆杂乱的数据时，是否曾感到无从下手？数据可视化就像给你的数据装上放大镜和调色板，让隐藏在数字背后的故事跃然纸上。作为Python生态中最受欢迎的两大…
Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated-4bit-msq常见问题解答：新手必知的8个关键知识点
Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated-4bit-msq常见问题解答：新手必知的8个关键知识点 【免费下载链接】Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated-4bit-msq 项目地址: https://ai.gitcode.com/hf_mirrors/mlx-commun…
CANN/asc-devkit SIMD算子L2缓存优化
设置合理的L2 CacheMode 【免费下载链接】asc-devkit 本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。 项目地址: https:/…
阴阳师百鬼夜行自动化脚本终极指南：告别手动砸豆，轻松收集式神碎片
阴阳师百鬼夜行自动化脚本终极指南：告别手动砸豆，轻松收集式神碎片 【免费下载链接】OnmyojiAutoScript Onmyoji Auto Script | 阴阳师脚本 项目地址: https://gitcode.com/gh_mirrors/on/OnmyojiAutoScript 你是否厌倦了每天重复点击屏幕&#x…
终极Windows系统清理指南：用开源工具Windows Cleaner彻底告别C盘爆红
终极Windows系统清理指南：用开源工具Windows Cleaner彻底告别C盘爆红 【免费下载链接】WindowsCleaner Windows Cleaner——专治C盘爆红及各种不服！ 项目地址: https://gitcode.com/gh_mirrors/wi/WindowsCleaner 你是否经常面对C盘爆红的困扰&am…
Litarvan主题实战案例：打造个性化Linux登录界面的3个创意方案
Litarvan主题实战案例：打造个性化Linux登录界面的3个创意方案 【免费下载链接】lightdm-webkit-theme-litarvan Litarvans LightDM HTML Theme 项目地址: https://gitcode.com/gh_mirrors/li/lightdm-webkit-theme-litarvan Litarvans LightDM HTML Theme是一…
TCMalloc：Google高性能内存分配器的终极指南
TCMalloc：Google高性能内存分配器的终极指南 【免费下载链接】tcmalloc 项目地址: https://gitcode.com/gh_mirrors/tc/tcmalloc 在现代软件开发中，内存管理是性能优化的核心环节。面对多线程应用的内存分配瓶颈，传统分配器往往成为性…
Cursor配置生成失效？3大隐藏陷阱+4行修复代码，资深工程师连夜整理的紧急补救清单
更多请点击： https://codechina.net 第一章：Cursor配置生成失效？3大隐藏陷阱4行修复代码，资深工程师连夜整理的紧急补救清单 Cursor 配置生成突然失效，是近期高频报障场景。表面看是 cursor.config.json 未更新或 LSP…
终极macOS窗口管理解决方案：Loop让你的桌面工作流效率翻倍
终极macOS窗口管理解决方案：Loop让你的桌面工作流效率翻倍 【免费下载链接】Loop Window management made elegant. 项目地址: https://gitcode.com/GitHub_Trending/lo/Loop Loop是一款专为macOS设计的免费开源窗口管理工具，通过创新的径向菜单和…
微信小程序二维码生成深度解析：weapp-qrcode架构设计与最佳实践
微信小程序二维码生成深度解析：weapp-qrcode架构设计与最佳实践 【免费下载链接】weapp-qrcode weapp.qrcode.js 在 微信小程序 中，快速生成二维码 项目地址: https://gitcode.com/gh_mirrors/we/weapp-qrcode 在微信小程序开发中，二维…
MQ-2 烟雾传感器 ESP32-S3 驱动实战：ADC 读取与阈值校准 3 步完成
MQ-2 烟雾传感器 ESP32-S3 驱动实战：ADC 读取与阈值校准 3 步完成在智能家居和工业安全监测领域，烟雾检测是一个至关重要的环节。MQ-2 作为一款高性价比的半导体烟雾传感器，因其对多种可燃气体（如液化气、丙烷、氢气等）…
SPEC CPU 2006 v1.0.1 基准测试实战：ARM/X86/MIPS 三平台配置与 3 轮测试结果解读
SPEC CPU 2006 跨平台基准测试深度实战：ARM/X86/MIPS 架构配置优化与结果分析方法论在当今多元化的计算架构时代，如何客观评估不同处理器平台的真实性能成为系统工程师和性能优化专家的核心挑战。SPEC CPU 2006 作为业界公认的计算密集型基准测试套件&am…
每天60s读懂世界：2026年7月11日重点要闻解读
🔥 个人主页：杨利杰YJlio❄️ 个人专栏：《Windows 疑难杂症与工单复盘案例库》 《Sysinternals实战教程》《WINDOWS教程》 《Windows PowerShell 实战》 《人工智能实战合集》《超简单：用Python让Excel飞起来》🌟…
FAE放射组学分析工具：医学影像特征探索的完整解决方案
FAE放射组学分析工具：医学影像特征探索的完整解决方案 【免费下载链接】FAE FeAture Explorer 项目地址: https://gitcode.com/gh_mirrors/fae/FAE 你是否曾经面对海量医学影像数据感到无从下手？想要从CT、MRI等影像中提取有价值的定量特征&#…
0.69B参数实现中文多模态AI：揭秘Qwen3-SmVL模型融合技术的完整实战指南
0.69B参数实现中文多模态AI：揭秘Qwen3-SmVL模型融合技术的完整实战指南 【免费下载链接】happy-llm 📚 从零开始构建大模型 项目地址: https://gitcode.com/GitHub_Trending/ha/happy-llm 还在为大型多模态模型动辄数十亿参数、显存占用高而烦恼&…
解锁AMD Ryzen处理器性能潜力的SMU调试神器：从新手到专家的完整指南
解锁AMD Ryzen处理器性能潜力的SMU调试神器：从新手到专家的完整指南 【免费下载链接】SMUDebugTool A dedicated tool to help write/read various parameters of Ryzen-based systems, such as manual overclock, SMU, PCI, CPUID, MSR and Power Table. 项目地址…