Qwen2.5-1.5B部署实操Kubernetes集群中部署Qwen2.5-1.5B微服务架构1. 项目概述为什么要在K8s里部署轻量级大模型如果你正在寻找一个能在自己服务器上快速跑起来的智能对话助手Qwen2.5-1.5B-Instruct模型是个不错的选择。它只有15亿参数对硬件要求不高但对话能力却相当不错日常问答、写点文案、解答技术问题都能胜任。但直接在一台服务器上部署总会遇到些麻烦服务重启了怎么办想同时服务多个用户怎么扩展怎么管理日志和监控这时候Kubernetes简称K8s的价值就体现出来了。把Qwen2.5-1.5B打包成微服务放到K8s集群里运行能带来几个实实在在的好处高可用容器挂了K8s会自动重启一个新的服务基本不会中断。弹性伸缩用户多了自动多开几个副本用户少了自动收缩节省资源。统一管理日志、监控、配置、网络全部通过K8s来管理运维起来省心。资源隔离每个服务实例都在独立的容器里互不干扰更稳定安全。这篇文章我就带你一步步把Qwen2.5-1.5B这个本地对话助手从单机脚本变成一个能在K8s集群里稳定运行的微服务。整个过程清晰直白即便你对K8s不是特别熟跟着做也能搞定。2. 从单机脚本到微服务容器化改造原来的项目是一个基于Streamlit的单文件应用。要上K8s第一步就是把它装进“集装箱”——也就是Docker容器里。2.1 编写Dockerfile构建应用镜像我们需要创建一个Dockerfile告诉Docker如何构建我们的应用镜像。核心思路是选择一个轻量的基础镜像安装必要的依赖复制我们的代码和模型文件设置好启动命令。# 使用带有Python和CUDA的轻量级官方镜像如果只用CPU可换成python:3.10-slim FROM nvcr.io/nvidia/pytorch:23.10-py3 # 设置工作目录 WORKDIR /app # 复制依赖文件并安装 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 复制应用代码 COPY app.py . # 假设模型文件通过其他方式如持久化卷挂载到 /model 目录 # 这里创建一个目录实际运行时会由K8s的Volume挂载真实模型数据 RUN mkdir -p /model # 暴露Streamlit默认端口 EXPOSE 8501 # 设置健康检查可选但推荐 HEALTHCHECK --interval30s --timeout10s --start-period30s --retries3 \ CMD python -c import requests; requests.get(http://localhost:8501/_stcore/health) # 启动命令设置服务器地址和端口以便集群内访问 CMD [streamlit, run, app.py, --server.port8501, --server.address0.0.0.0]关键点说明基础镜像选择了NVIDIA官方的PyTorch镜像已经包含了CUDA环境。如果你的集群没有GPU或者想用CPU推理换成python:3.10-slim会更小。依赖安装通过requirements.txt文件管理依赖并用国内镜像源加速。模型文件注意我们没有把巨大的模型文件可能好几个GB直接打包进镜像那样会导致镜像臃肿且难以更新。这里只是创建了一个/model目录模型文件将通过K8s的“持久化存储卷”在容器启动时挂载进去。这是生产环境的最佳实践。健康检查添加了HEALTHCHECK指令K8s可以利用这个信息判断容器是否健康并做出重启等决策。启动命令--server.address0.0.0.0很重要让Streamlit服务监听所有网络接口才能被集群内其他服务访问。2.2 准备requirements.txt创建一个requirements.txt文件列出项目所需的所有Python包。streamlit1.28.0 torch2.0.0 transformers4.35.0 accelerate0.24.0 sentencepiece # Qwen分词器可能需要 tiktoken # 某些版本Qwen可能用到2.3 改造app.py适应容器化环境原来的app.py需要做一点小调整主要是让模型路径可以灵活配置而不是写死在代码里。import os import streamlit as st from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 从环境变量读取模型路径默认为 /model MODEL_PATH os.getenv(MODEL_PATH, /model/qwen1.5b) # 使用Streamlit缓存机制避免每次交互重复加载模型 st.cache_resource def load_model_and_tokenizer(): st.write(f 正在从 {MODEL_PATH} 加载模型...) # 自动选择设备和数据类型 model AutoModelForCausalLM.from_pretrained( MODEL_PATH, torch_dtypeauto, device_mapauto, trust_remote_codeTrue # Qwen模型需要此参数 ) tokenizer AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_codeTrue) st.success(✅ 模型加载完成) return model, tokenizer # 后续的Streamlit界面代码保持不变... # 包括侧边栏、聊天历史、生成逻辑等改动说明关键的一行是MODEL_PATH os.getenv(MODEL_PATH, /model/qwen1.5b)。现在模型路径可以从环境变量MODEL_PATH读取。这样我们在K8s的配置文件中就可以灵活指定模型文件实际挂载的位置而不用修改代码。2.4 构建并推送镜像在本地或者CI/CD服务器上执行以下命令构建镜像并推送到你的容器镜像仓库如Docker Hub、阿里云容器镜像服务、Harbor等。# 构建镜像 docker build -t your-registry/your-namespace/qwen-chat:1.0 . # 登录镜像仓库 docker login your-registry # 推送镜像 docker push your-registry/your-namespace/qwen-chat:1.0到这里我们的应用就已经完成了容器化改造准备好了上云的原型。3. Kubernetes部署实战编写YAML清单接下来是核心部分编写K8s的部署配置文件。我们主要需要三个YAML文件一个用于配置模型存储一个用于部署应用一个用于对外暴露服务。3.1 模型存储配置PersistentVolumeClaim (PVC)模型文件很大我们需要一个持久化的存储来存放它并在Pod中挂载。这里以使用K8s集群的本地存储Local PersistentVolume为例如果你的集群在云上可以使用云盘如AWS EBS Azure Disk。首先创建一个pvc-model.yaml文件。这里假设集群管理员已经创建了名为local-model-storage的StorageClass。apiVersion: v1 kind: PersistentVolumeClaim metadata: name: qwen-model-pvc namespace: ai-services # 指定命名空间建议单独创建 spec: storageClassName: local-model-storage # 替换为你的StorageClass accessModes: - ReadOnlyMany # 多个Pod可以只读挂载适合模型文件 resources: requests: storage: 10Gi # 根据Qwen2.5-1.5B模型实际大小调整通常3-4GB足够3.2 应用部署配置Deployment这是最重要的文件定义了如何运行我们的容器。创建deployment.yaml。apiVersion: apps/v1 kind: Deployment metadata: name: qwen-chat-deployment namespace: ai-services labels: app: qwen-chat spec: replicas: 2 # 启动2个副本实现负载均衡和基础高可用 selector: matchLabels: app: qwen-chat template: metadata: labels: app: qwen-chat spec: # 如果节点有GPU可以添加以下节点选择器和资源限制 # nodeSelector: # accelerator: nvidia-gpu containers: - name: qwen-chat-container image: your-registry/your-namespace/qwen-chat:1.0 # 替换为你的镜像地址 imagePullPolicy: IfNotPresent ports: - containerPort: 8501 env: - name: MODEL_PATH value: /mnt/model # 与下面volumeMount的路径对应 resources: # 资源请求和限制根据模型推理实际消耗调整 requests: memory: 4Gi cpu: 1 limits: memory: 8Gi cpu: 2 volumeMounts: - name: model-storage mountPath: /mnt/model readOnly: true # 配置存活探针和就绪探针提升服务可靠性 livenessProbe: httpGet: path: /_stcore/health port: 8501 initialDelaySeconds: 60 # 给模型加载留出足够时间 periodSeconds: 30 readinessProbe: httpGet: path: /_stcore/health port: 8501 initialDelaySeconds: 60 periodSeconds: 10 volumes: - name: model-storage persistentVolumeClaim: claimName: qwen-model-pvc # 使用上面创建的PVC配置详解replicas: 2启动两个相同的Pod实例。如果一个出问题另一个还能继续服务K8s也会自动补齐副本数。resources非常重要。这里定义了容器需要和最多能使用的CPU/内存资源。requests是调度依据limits是硬性上限。一定要根据你模型加载和推理时的实际内存占用可以用nvidia-smi或top命令观察来设置设置太小会导致Pod被KillOOM设置太大会浪费资源。volumeMounts将名为model-storage的卷挂载到容器的/mnt/model路径。这样容器里就能访问到模型文件了。livenessProbereadinessProbe健康检查。livenessProbe失败K8s会重启容器readinessProbe失败K8s会将该Pod从服务负载均衡中移除。它们能有效处理模型加载失败或应用假死的情况。nodeSelector注释中如果你的集群部分节点有GPU可以用这个标签选择将Pod调度到有GPU的节点上加速推理。3.3 服务暴露配置ServicePod的IP地址是不固定的我们需要一个固定的入口。创建service.yaml定义一个Service来暴露我们的Deployment。apiVersion: v1 kind: Service metadata: name: qwen-chat-service namespace: ai-services spec: selector: app: qwen-chat # 选择标签为app: qwen-chat的Pod ports: - port: 80 # Service对集群内暴露的端口 targetPort: 8501 # 容器内部的端口 protocol: TCP type: ClusterIP # 类型为ClusterIP仅在集群内部可访问现在在K8s集群内部其他服务就可以通过http://qwen-chat-service.ai-services.svc.cluster.local这个域名来访问我们的对话助手了。3.4 对外访问配置Ingress (可选)如果想让集群外部的用户通过浏览器访问就需要配置Ingress。这需要一个Ingress Controller如Nginx Ingress Controller。创建ingress.yaml。apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: qwen-chat-ingress namespace: ai-services annotations: # 以下注解根据你使用的Ingress Controller类型调整 nginx.ingress.kubernetes.io/rewrite-target: / nginx.ingress.kubernetes.io/proxy-body-size: 50m # 允许较大的请求体 spec: rules: - host: qwen.yourcompany.com # 你的域名 http: paths: - path: / pathType: Prefix backend: service: name: qwen-chat-service port: number: 80配置好DNS解析将域名qwen.yourcompany.com指向你的K8s集群Ingress Controller的公网IP用户就能通过这个网址访问服务了。4. 部署与验证让服务跑起来配置文件准备好了接下来就是执行和验证。4.1 按顺序部署资源在拥有kubectl命令行工具并配置好集群连接的机器上执行以下命令。# 1. 创建命名空间如果不存在 kubectl create namespace ai-services # 2. 部署存储声明PVC kubectl apply -f pvc-model.yaml -n ai-services # 3. 部署应用Deployment kubectl apply -f deployment.yaml -n ai-services # 4. 部署内部服务Service kubectl apply -f service.yaml -n ai-services # 5. 部署外部访问Ingress如果需要 kubectl apply -f ingress.yaml -n ai-services4.2 检查部署状态使用以下命令检查各个资源的创建和运行状态。# 查看Pod状态应该看到2个Running的Pod kubectl get pods -n ai-services -l appqwen-chat # 查看Deployment状态 kubectl get deployment qwen-chat-deployment -n ai-services # 查看Service kubectl get service qwen-chat-service -n ai-services # 查看Ingress如果部署了 kubectl get ingress qwen-chat-ingress -n ai-services # 查看Pod的详细信息和日志特别是初始化时的日志检查模型是否加载成功 kubectl logs -n ai-services deployment/qwen-chat-deployment --tail504.3 验证服务功能集群内访问在集群内另一个Pod里用curl命令测试。# 获取Service的集群内域名 kubectl run test-curl --imagecurlimages/curl -it --rm --restartNever -- /bin/sh # 进入临时容器后执行 curl http://qwen-chat-service.ai-services.svc.cluster.local你应该能看到Streamlit的HTML页面内容。端口转发临时访问如果你想在本地浏览器快速测试可以将Service端口转发到本地。kubectl port-forward -n ai-services service/qwen-chat-service 8501:80然后在浏览器访问http://localhost:8501。通过Ingress访问如果配置了Ingress和域名直接在浏览器访问你的域名如http://qwen.yourcompany.com应该就能看到熟悉的Streamlit聊天界面了。尝试输入问题看看模型是否能正常回复。5. 生产环境进阶考量把服务跑起来只是第一步要用于生产还需要考虑更多。5.1 配置管理使用ConfigMap将环境变量、配置文件等与镜像解耦。例如可以把模型路径、生成参数temperature,top_p放到ConfigMap里。apiVersion: v1 kind: ConfigMap metadata: name: qwen-chat-config namespace: ai-services data: MODEL_PATH: /mnt/model GENERATION_MAX_LENGTH: 1024 GENERATION_TEMPERATURE: 0.7然后在Deployment中通过configMapKeyRef引用。5.2 密钥管理使用Secret如果模型文件存放在需要认证的私有存储如S3或者应用需要访问数据库账号密码等敏感信息必须用Secret管理。apiVersion: v1 kind: Secret metadata: name: model-store-secret namespace: ai-services type: Opaque data: access-key: base64编码的密钥 secret-key: base64编码的密钥5.3 自动伸缩HPA根据CPU或内存使用率自动调整Pod的数量。你需要部署Metrics Server。apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: qwen-chat-hpa namespace: ai-services spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: qwen-chat-deployment minReplicas: 2 maxReplicas: 10 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70 # 当CPU平均使用率超过70%时扩容5.4 日志与监控日志确保应用日志输出到标准输出stdout和标准错误stderrK8s会自动收集。可以使用EFKElasticsearch, Fluentd, Kibana或LokiGrafana套件进行集中日志管理。监控为Pod定义Prometheus格式的指标暴露端点或使用Sidecar模式。然后通过Prometheus采集用Grafana展示。监控模型推理延迟、QPS、错误率、资源使用率等关键指标。6. 总结通过以上步骤我们成功地将一个单机的Qwen2.5-1.5B对话助手部署成了一个高可用、可扩展、易管理的Kubernetes微服务。我们来回顾一下关键点容器化是基础编写Dockerfile将应用及其依赖打包成标准镜像实现环境一致性。分离模型与镜像使用PVC持久化存储模型文件避免镜像臃肿方便模型更新。Deployment是核心定义应用的副本数、资源需求、健康检查、存储挂载等运行规格。Service提供稳定访问为动态的Pod提供一个固定的网络端点。Ingress实现外部访问将集群内部服务暴露给公网用户。生产化配置通过ConfigMap、Secret、HPA、监控日志等手段提升服务的可靠性、安全性和可运维性。这套方案不仅适用于Qwen2.5-1.5B也适用于其他类似的轻量级AI模型服务。K8s的生态让AI模型的部署、运维和规模化变得前所未有的清晰和高效。你可以在此基础上继续探索服务网格Istio、GPU共享、模型版本管理Kserve/Knative等更高级的主题构建更强大的AI服务平台。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Qwen2.5-1.5B部署实操：Kubernetes集群中部署Qwen2.5-1.5B微服务架构
发布时间：2026/6/18 14:30:05
Qwen2.5-1.5B部署实操Kubernetes集群中部署Qwen2.5-1.5B微服务架构1. 项目概述为什么要在K8s里部署轻量级大模型如果你正在寻找一个能在自己服务器上快速跑起来的智能对话助手Qwen2.5-1.5B-Instruct模型是个不错的选择。它只有15亿参数对硬件要求不高但对话能力却相当不错日常问答、写点文案、解答技术问题都能胜任。但直接在一台服务器上部署总会遇到些麻烦服务重启了怎么办想同时服务多个用户怎么扩展怎么管理日志和监控这时候Kubernetes简称K8s的价值就体现出来了。把Qwen2.5-1.5B打包成微服务放到K8s集群里运行能带来几个实实在在的好处高可用容器挂了K8s会自动重启一个新的服务基本不会中断。弹性伸缩用户多了自动多开几个副本用户少了自动收缩节省资源。统一管理日志、监控、配置、网络全部通过K8s来管理运维起来省心。资源隔离每个服务实例都在独立的容器里互不干扰更稳定安全。这篇文章我就带你一步步把Qwen2.5-1.5B这个本地对话助手从单机脚本变成一个能在K8s集群里稳定运行的微服务。整个过程清晰直白即便你对K8s不是特别熟跟着做也能搞定。2. 从单机脚本到微服务容器化改造原来的项目是一个基于Streamlit的单文件应用。要上K8s第一步就是把它装进“集装箱”——也就是Docker容器里。2.1 编写Dockerfile构建应用镜像我们需要创建一个Dockerfile告诉Docker如何构建我们的应用镜像。核心思路是选择一个轻量的基础镜像安装必要的依赖复制我们的代码和模型文件设置好启动命令。# 使用带有Python和CUDA的轻量级官方镜像如果只用CPU可换成python:3.10-slim FROM nvcr.io/nvidia/pytorch:23.10-py3 # 设置工作目录 WORKDIR /app # 复制依赖文件并安装 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 复制应用代码 COPY app.py . # 假设模型文件通过其他方式如持久化卷挂载到 /model 目录 # 这里创建一个目录实际运行时会由K8s的Volume挂载真实模型数据 RUN mkdir -p /model # 暴露Streamlit默认端口 EXPOSE 8501 # 设置健康检查可选但推荐 HEALTHCHECK --interval30s --timeout10s --start-period30s --retries3 \ CMD python -c import requests; requests.get(http://localhost:8501/_stcore/health) # 启动命令设置服务器地址和端口以便集群内访问 CMD [streamlit, run, app.py, --server.port8501, --server.address0.0.0.0]关键点说明基础镜像选择了NVIDIA官方的PyTorch镜像已经包含了CUDA环境。如果你的集群没有GPU或者想用CPU推理换成python:3.10-slim会更小。依赖安装通过requirements.txt文件管理依赖并用国内镜像源加速。模型文件注意我们没有把巨大的模型文件可能好几个GB直接打包进镜像那样会导致镜像臃肿且难以更新。这里只是创建了一个/model目录模型文件将通过K8s的“持久化存储卷”在容器启动时挂载进去。这是生产环境的最佳实践。健康检查添加了HEALTHCHECK指令K8s可以利用这个信息判断容器是否健康并做出重启等决策。启动命令--server.address0.0.0.0很重要让Streamlit服务监听所有网络接口才能被集群内其他服务访问。2.2 准备requirements.txt创建一个requirements.txt文件列出项目所需的所有Python包。streamlit1.28.0 torch2.0.0 transformers4.35.0 accelerate0.24.0 sentencepiece # Qwen分词器可能需要 tiktoken # 某些版本Qwen可能用到2.3 改造app.py适应容器化环境原来的app.py需要做一点小调整主要是让模型路径可以灵活配置而不是写死在代码里。import os import streamlit as st from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 从环境变量读取模型路径默认为 /model MODEL_PATH os.getenv(MODEL_PATH, /model/qwen1.5b) # 使用Streamlit缓存机制避免每次交互重复加载模型 st.cache_resource def load_model_and_tokenizer(): st.write(f 正在从 {MODEL_PATH} 加载模型...) # 自动选择设备和数据类型 model AutoModelForCausalLM.from_pretrained( MODEL_PATH, torch_dtypeauto, device_mapauto, trust_remote_codeTrue # Qwen模型需要此参数 ) tokenizer AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_codeTrue) st.success(✅ 模型加载完成) return model, tokenizer # 后续的Streamlit界面代码保持不变... # 包括侧边栏、聊天历史、生成逻辑等改动说明关键的一行是MODEL_PATH os.getenv(MODEL_PATH, /model/qwen1.5b)。现在模型路径可以从环境变量MODEL_PATH读取。这样我们在K8s的配置文件中就可以灵活指定模型文件实际挂载的位置而不用修改代码。2.4 构建并推送镜像在本地或者CI/CD服务器上执行以下命令构建镜像并推送到你的容器镜像仓库如Docker Hub、阿里云容器镜像服务、Harbor等。# 构建镜像 docker build -t your-registry/your-namespace/qwen-chat:1.0 . # 登录镜像仓库 docker login your-registry # 推送镜像 docker push your-registry/your-namespace/qwen-chat:1.0到这里我们的应用就已经完成了容器化改造准备好了上云的原型。3. Kubernetes部署实战编写YAML清单接下来是核心部分编写K8s的部署配置文件。我们主要需要三个YAML文件一个用于配置模型存储一个用于部署应用一个用于对外暴露服务。3.1 模型存储配置PersistentVolumeClaim (PVC)模型文件很大我们需要一个持久化的存储来存放它并在Pod中挂载。这里以使用K8s集群的本地存储Local PersistentVolume为例如果你的集群在云上可以使用云盘如AWS EBS Azure Disk。首先创建一个pvc-model.yaml文件。这里假设集群管理员已经创建了名为local-model-storage的StorageClass。apiVersion: v1 kind: PersistentVolumeClaim metadata: name: qwen-model-pvc namespace: ai-services # 指定命名空间建议单独创建 spec: storageClassName: local-model-storage # 替换为你的StorageClass accessModes: - ReadOnlyMany # 多个Pod可以只读挂载适合模型文件 resources: requests: storage: 10Gi # 根据Qwen2.5-1.5B模型实际大小调整通常3-4GB足够3.2 应用部署配置Deployment这是最重要的文件定义了如何运行我们的容器。创建deployment.yaml。apiVersion: apps/v1 kind: Deployment metadata: name: qwen-chat-deployment namespace: ai-services labels: app: qwen-chat spec: replicas: 2 # 启动2个副本实现负载均衡和基础高可用 selector: matchLabels: app: qwen-chat template: metadata: labels: app: qwen-chat spec: # 如果节点有GPU可以添加以下节点选择器和资源限制 # nodeSelector: # accelerator: nvidia-gpu containers: - name: qwen-chat-container image: your-registry/your-namespace/qwen-chat:1.0 # 替换为你的镜像地址 imagePullPolicy: IfNotPresent ports: - containerPort: 8501 env: - name: MODEL_PATH value: /mnt/model # 与下面volumeMount的路径对应 resources: # 资源请求和限制根据模型推理实际消耗调整 requests: memory: 4Gi cpu: 1 limits: memory: 8Gi cpu: 2 volumeMounts: - name: model-storage mountPath: /mnt/model readOnly: true # 配置存活探针和就绪探针提升服务可靠性 livenessProbe: httpGet: path: /_stcore/health port: 8501 initialDelaySeconds: 60 # 给模型加载留出足够时间 periodSeconds: 30 readinessProbe: httpGet: path: /_stcore/health port: 8501 initialDelaySeconds: 60 periodSeconds: 10 volumes: - name: model-storage persistentVolumeClaim: claimName: qwen-model-pvc # 使用上面创建的PVC配置详解replicas: 2启动两个相同的Pod实例。如果一个出问题另一个还能继续服务K8s也会自动补齐副本数。resources非常重要。这里定义了容器需要和最多能使用的CPU/内存资源。requests是调度依据limits是硬性上限。一定要根据你模型加载和推理时的实际内存占用可以用nvidia-smi或top命令观察来设置设置太小会导致Pod被KillOOM设置太大会浪费资源。volumeMounts将名为model-storage的卷挂载到容器的/mnt/model路径。这样容器里就能访问到模型文件了。livenessProbereadinessProbe健康检查。livenessProbe失败K8s会重启容器readinessProbe失败K8s会将该Pod从服务负载均衡中移除。它们能有效处理模型加载失败或应用假死的情况。nodeSelector注释中如果你的集群部分节点有GPU可以用这个标签选择将Pod调度到有GPU的节点上加速推理。3.3 服务暴露配置ServicePod的IP地址是不固定的我们需要一个固定的入口。创建service.yaml定义一个Service来暴露我们的Deployment。apiVersion: v1 kind: Service metadata: name: qwen-chat-service namespace: ai-services spec: selector: app: qwen-chat # 选择标签为app: qwen-chat的Pod ports: - port: 80 # Service对集群内暴露的端口 targetPort: 8501 # 容器内部的端口 protocol: TCP type: ClusterIP # 类型为ClusterIP仅在集群内部可访问现在在K8s集群内部其他服务就可以通过http://qwen-chat-service.ai-services.svc.cluster.local这个域名来访问我们的对话助手了。3.4 对外访问配置Ingress (可选)如果想让集群外部的用户通过浏览器访问就需要配置Ingress。这需要一个Ingress Controller如Nginx Ingress Controller。创建ingress.yaml。apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: qwen-chat-ingress namespace: ai-services annotations: # 以下注解根据你使用的Ingress Controller类型调整 nginx.ingress.kubernetes.io/rewrite-target: / nginx.ingress.kubernetes.io/proxy-body-size: 50m # 允许较大的请求体 spec: rules: - host: qwen.yourcompany.com # 你的域名 http: paths: - path: / pathType: Prefix backend: service: name: qwen-chat-service port: number: 80配置好DNS解析将域名qwen.yourcompany.com指向你的K8s集群Ingress Controller的公网IP用户就能通过这个网址访问服务了。4. 部署与验证让服务跑起来配置文件准备好了接下来就是执行和验证。4.1 按顺序部署资源在拥有kubectl命令行工具并配置好集群连接的机器上执行以下命令。# 1. 创建命名空间如果不存在 kubectl create namespace ai-services # 2. 部署存储声明PVC kubectl apply -f pvc-model.yaml -n ai-services # 3. 部署应用Deployment kubectl apply -f deployment.yaml -n ai-services # 4. 部署内部服务Service kubectl apply -f service.yaml -n ai-services # 5. 部署外部访问Ingress如果需要 kubectl apply -f ingress.yaml -n ai-services4.2 检查部署状态使用以下命令检查各个资源的创建和运行状态。# 查看Pod状态应该看到2个Running的Pod kubectl get pods -n ai-services -l appqwen-chat # 查看Deployment状态 kubectl get deployment qwen-chat-deployment -n ai-services # 查看Service kubectl get service qwen-chat-service -n ai-services # 查看Ingress如果部署了 kubectl get ingress qwen-chat-ingress -n ai-services # 查看Pod的详细信息和日志特别是初始化时的日志检查模型是否加载成功 kubectl logs -n ai-services deployment/qwen-chat-deployment --tail504.3 验证服务功能集群内访问在集群内另一个Pod里用curl命令测试。# 获取Service的集群内域名 kubectl run test-curl --imagecurlimages/curl -it --rm --restartNever -- /bin/sh # 进入临时容器后执行 curl http://qwen-chat-service.ai-services.svc.cluster.local你应该能看到Streamlit的HTML页面内容。端口转发临时访问如果你想在本地浏览器快速测试可以将Service端口转发到本地。kubectl port-forward -n ai-services service/qwen-chat-service 8501:80然后在浏览器访问http://localhost:8501。通过Ingress访问如果配置了Ingress和域名直接在浏览器访问你的域名如http://qwen.yourcompany.com应该就能看到熟悉的Streamlit聊天界面了。尝试输入问题看看模型是否能正常回复。5. 生产环境进阶考量把服务跑起来只是第一步要用于生产还需要考虑更多。5.1 配置管理使用ConfigMap将环境变量、配置文件等与镜像解耦。例如可以把模型路径、生成参数temperature,top_p放到ConfigMap里。apiVersion: v1 kind: ConfigMap metadata: name: qwen-chat-config namespace: ai-services data: MODEL_PATH: /mnt/model GENERATION_MAX_LENGTH: 1024 GENERATION_TEMPERATURE: 0.7然后在Deployment中通过configMapKeyRef引用。5.2 密钥管理使用Secret如果模型文件存放在需要认证的私有存储如S3或者应用需要访问数据库账号密码等敏感信息必须用Secret管理。apiVersion: v1 kind: Secret metadata: name: model-store-secret namespace: ai-services type: Opaque data: access-key: base64编码的密钥 secret-key: base64编码的密钥5.3 自动伸缩HPA根据CPU或内存使用率自动调整Pod的数量。你需要部署Metrics Server。apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: qwen-chat-hpa namespace: ai-services spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: qwen-chat-deployment minReplicas: 2 maxReplicas: 10 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70 # 当CPU平均使用率超过70%时扩容5.4 日志与监控日志确保应用日志输出到标准输出stdout和标准错误stderrK8s会自动收集。可以使用EFKElasticsearch, Fluentd, Kibana或LokiGrafana套件进行集中日志管理。监控为Pod定义Prometheus格式的指标暴露端点或使用Sidecar模式。然后通过Prometheus采集用Grafana展示。监控模型推理延迟、QPS、错误率、资源使用率等关键指标。6. 总结通过以上步骤我们成功地将一个单机的Qwen2.5-1.5B对话助手部署成了一个高可用、可扩展、易管理的Kubernetes微服务。我们来回顾一下关键点容器化是基础编写Dockerfile将应用及其依赖打包成标准镜像实现环境一致性。分离模型与镜像使用PVC持久化存储模型文件避免镜像臃肿方便模型更新。Deployment是核心定义应用的副本数、资源需求、健康检查、存储挂载等运行规格。Service提供稳定访问为动态的Pod提供一个固定的网络端点。Ingress实现外部访问将集群内部服务暴露给公网用户。生产化配置通过ConfigMap、Secret、HPA、监控日志等手段提升服务的可靠性、安全性和可运维性。这套方案不仅适用于Qwen2.5-1.5B也适用于其他类似的轻量级AI模型服务。K8s的生态让AI模型的部署、运维和规模化变得前所未有的清晰和高效。你可以在此基础上继续探索服务网格Istio、GPU共享、模型版本管理Kserve/Knative等更高级的主题构建更强大的AI服务平台。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
相关文章
5个步骤解决ROCm 6.4在Ubuntu 24.04上的软件源配置故障
5个步骤解决ROCm 6.4在Ubuntu 24.04上的软件源配置故障 【免费下载链接】ROCm AMD ROCm™ Software - GitHub Home 项目地址: https://gitcode.com/GitHub_Trending/ro/ROCm 当在Ubuntu 24.04系统中部署AMD ROCm 6.4时，许多用户会遇到APT软件源配置相关的错误…
ISO26262软件覆盖率实战：如何用C/C++test轻松搞定ASIL D认证
ISO26262软件覆盖率实战：如何用C/Ctest轻松搞定ASIL D认证 在汽车电子领域，功能安全是产品设计的核心要求。随着自动驾驶和高级驾驶辅助系统(ADAS)的快速发展，确保软件在各种工况下的可靠性变得尤为重要。ISO26262标准作为汽车功能安全的黄金…
从汽车电子到工业控制：STM32F407双CAN模块的筛选器组高级配置技巧
STM32F407双CAN模块的筛选器组高级配置实战指南 在工业控制和汽车电子领域，CAN总线因其高可靠性和实时性成为不可或缺的通信协议。STM32F407系列微控制器搭载的双CAN控制器为复杂通信场景提供了强大支持，但其28个筛选器组的灵活配置却让许多工程师感到棘…
Python 异步编程：asyncio 事件循环与协程调度机制的深度剖析
Python 异步编程：asyncio 事件循环与协程调度机制的深度剖析 一、异步编程的认知误区：为什么 async/await 不是多线程 Python 的 async/await 语法让异步编程看起来像同步代码，但也带来了认知混淆——许多开发者以为 async 函数会在另一个线程…
无人机导航诱骗（驱离、禁飞、定点诱骗）功能详解
统一基础说明：设备内置算法补偿，操作界面直观；依靠伪造北斗/GPS民用卫星信号实现欺骗；诱骗信号覆盖空域内，所有依赖卫星定位的设备（无人机、路人手机、车载导航、遥控器）都会被篡改定位…
从孤立到对话：Talking-Heads Attention如何重塑多头注意力
1. 从信息孤岛到团队协作：为什么需要Talking-Heads Attention？ 想象一下你正在参加一场跨部门会议，每个小组都在自己的小黑屋里埋头讨论，最后只派代表来汇报结论。这就是传统多头注意力机制（Multi-Head Attention&…
158、模组连接器选型：BTB、ZIF、ACF 连接方式对信号完整性的影响
158、模组连接器选型：BTB、ZIF、ACF 连接方式对信号完整性的影响 从一次“鬼影”调试说起 去年Q3，我接手一个旗舰机项目，后置主摄模组在暗光下预览画面边缘出现规律性横纹，像老电视的雪花，但更细密。团队排查了三天：换模组、换FPC、调驱动时序、改电源纹波，问题纹丝不动…
从DnCNN到PMRID：剖析CNN图像降噪算法的演进脉络与实战选择
1. 图像降噪算法的技术演进背景 数码照片中的噪声问题一直是计算机视觉领域的核心挑战之一。早期的降噪方法主要依赖传统信号处理技术，比如非局部均值（NLM）和BM3D这类基于块匹配的算法。这些方法在特定场景下表现不错，但存在两个致…
粽香迎佳节，鑫云技术支持全程在线
蝉鸣唤盛夏，蒲绿迎端阳裹米成粽，束艾为香佳节临至，万事相宜鑫云祝大家端午安康端午假期服务不停歇，鑫云售后技术团队24小时全天候在线值守，快速响应各类紧急运维需求，全力保障客户业务稳定、正常运行。端午…
PowerPC 601指令集深度解析：分支、陷阱与处理器控制指令实战指南
1. PowerPC 601指令集：程序流与系统控制的基石如果你曾经在嵌入式系统、早期的苹果Power Macintosh，或是任天堂GameCube/Wii这类经典游戏主机上做过开发，那么PowerPC这个名字对你来说一定不陌生。作为RISC架构黄金时代的代表作之一࿰…
OpenCore Legacy Patcher终极指南：四步让老旧Mac免费升级最新macOS
OpenCore Legacy Patcher终极指南：四步让老旧Mac免费升级最新macOS 【免费下载链接】OpenCore-Legacy-Patcher Experience macOS just like before 项目地址: https://gitcode.com/GitHub_Trending/op/OpenCore-Legacy-Patcher 还在为苹果官方放弃的老旧Mac无…
Mermaid Live Editor：重塑技术文档图表创作体验的专业工具
Mermaid Live Editor：重塑技术文档图表创作体验的专业工具 【免费下载链接】mermaid-live-editor Edit, preview and share mermaid charts/diagrams. New implementation of the live editor. 项目地址: https://gitcode.com/GitHub_Trending/me/mermaid-live-ed…
音乐文件解锁实战指南：3个场景解决你的播放困境
音乐文件解锁实战指南：3个场景解决你的播放困境 【免费下载链接】unlock-music 在浏览器中解锁加密的音乐文件。原仓库： 1. https://github.com/unlock-music/unlock-music ；2. https://git.unlock-music.dev/um/web 项目地址: https://git…
从Landsat到高分系列：手把手教你选择适合自己项目的遥感卫星数据
遥感卫星数据选型实战指南：从参数解析到场景化应用当面对GEE、PIE-Engine等云平台上数十种遥感数据源时，许多研究者常陷入选择困难——Landsat的历史连续性、Sentinel-2的红边波段优势、高分系列的亚米级分辨率各有千秋。本文将打破常规参数罗列式对比&a…
MC68302 AutoBaud技术：硬件级串口波特率自动检测原理与实现
1. 项目概述：MC68302 AutoBaud技术深度解析在嵌入式系统开发，尤其是那些需要与外部设备进行串口通信的场景里，最让人头疼的环节之一就是波特率匹配。想象一下，你设计了一个数据采集终端，需要连接来自不同厂家、不同年代…
Zotero Duplicates Merger：5步彻底清理文献库重复条目
Zotero Duplicates Merger：5步彻底清理文献库重复条目 【免费下载链接】ZoteroDuplicatesMerger A zotero plugin to automatically merge duplicate items 项目地址: https://gitcode.com/gh_mirrors/zo/ZoteroDuplicatesMerger 还在为文献库中堆积如山的重…
利用随机有限集理论对蜂群的ILQR和MPC控制研究附Matlab代码
✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页：Matlab科研工作室🍊个人信条：格物致知,完整Matlab代码及仿真咨询…
为什么你的Gemini邮件CTE低于行业均值2.8倍？：从Prompt架构到发送时序的深度归因
更多请点击： https://intelliparadigm.com 第一章：为什么你的Gemini邮件CTE低于行业均值2.8倍？：从Prompt架构到发送时序的深度归因 Gemini邮件的客户转化效率（CTE）显著偏低，根本原因常被误判为…