Gitops全流程介绍(简略篇)

GitLab Helm ArgoCD 全套GitOps流程完整指南GitOps是一种以Git为单一可信源的云原生应用持续部署方法论。本指南将带你从零搭建一套生产级GitOps流水线涵盖前置环境准备、核心组件部署、完整自动化流程、多环境管理和最佳实践。一、整体架构与组件职责核心架构图开发者 → GitLab(代码CI) → 镜像仓库 → GitLab(配置仓库) → ArgoCD → Kubernetes集群各组件职责组件核心职责GitLab1. 应用源代码托管2. CI流水线执行(代码检查、构建、测试)3. 容器镜像构建与推送4. Helm Chart配置托管5. 触发ArgoCD同步Helm1. Kubernetes应用打包标准化2. 多环境配置管理(values.yaml)3. 应用版本化管理4. 依赖管理ArgoCD1. Git状态与集群状态同步2. 应用健康状态监控3. 自动/手动部署控制4. 回滚与历史版本管理5. 多集群管理二、前置环境准备2.1 基础设施要求Kubernetes集群: v1.24 (推荐v1.27-v1.29)至少3个节点每个节点2C4G以上容器镜像仓库: GitLab Container Registry(内置)或Harbor域名与证书: 为GitLab和ArgoCD准备可解析域名和TLS证书网络: 集群内Pod可访问GitLabGitLab可访问ArgoCD Webhook地址存储: 集群配置默认StorageClass2.2 工具安装(本地客户端)# 安装kubectlcurl-LOhttps://dl.k8s.io/release/$(curl-L-shttps://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectlchmodx kubectlmvkubectl /usr/local/bin/# 安装helm v3.14curlhttps://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3|bash# 安装argocd CLIcurl-sSL-oargocd-linux-amd64 https://github.com/argoproj/argo-cd/releases/latest/download/argocd-linux-amd64chmodx argocd-linux-amd64mvargocd-linux-amd64 /usr/local/bin/argocd# 安装gityuminstall-ygit三、核心组件部署3.1 部署ArgoCD# 创建命名空间kubectl create namespace argocd# 安装ArgoCD(生产环境推荐使用高可用版本)kubectl apply-nargocd-fhttps://raw.githubusercontent.com/argoproj/argo-cd/stable/manifests/install.yaml# 暴露ArgoCD服务(生产环境推荐使用Ingress)kubectl patch svc argocd-server-nargocd-p{spec: {type: NodePort}}# 获取初始管理员密码argocd admin initial-password-nargocd# 登录ArgoCDargocd loginARGOCD_SERVER_IP:NODE_PORT--usernameadmin--password初始密码# 修改管理员密码argocd account update-password3.2 部署GitLab(可选如已有可跳过)# 添加GitLab Helm仓库helm repoaddgitlab https://charts.gitlab.io/ helm repo update# 创建命名空间kubectl create namespace gitlab# 安装GitLab(简化版生产环境需调整资源和持久化配置)helminstallgitlab gitlab/gitlab\--namespacegitlab\--setglobal.hosts.domainshturl.cc/KuOww\--setglobal.hosts.externalIPYOUR_NODE_IP\--setcertmanager.installfalse\--setglobal.ingress.configureCertmanagerfalse3.3 配置GitLab与ArgoCD集成3.3.1 在GitLab创建访问令牌进入GitLab → 个人设置 → 访问令牌创建令牌勾选api、read_repository、write_repository权限保存生成的令牌(仅显示一次)3.3.2 在ArgoCD添加GitLab仓库# 添加私有仓库argocd repoaddshturl.cc/W1KUeGFMwWbHminxaVXXfYdlNmkWWalqtzLI3fmBesdIRQWad9iO\--usernamegit\--passwordGITLAB_ACCESS_TOKEN\--typegit# 验证仓库连接argocd repo list3.3.3 配置ArgoCD Webhook到GitLab进入ArgoCD → 设置 → Webhooks → 生成Webhook密钥进入GitLab项目 → 设置 → Webhooks添加Webhook:URL:shturl.cc/6BXQhDbzAzjjC3QgSF9McggmDsQr9jR5秘密令牌: 刚才生成的ArgoCD Webhook密钥勾选推送事件取消勾选启用SSL验证(测试环境生产环境需启用)测试Webhook连接四、GitOps仓库结构设计(核心)推荐采用应用代码与配置分离的双仓库模式这是生产环境的最佳实践。4.1 应用代码仓库(app-code)app-code/ ├── src/ # 应用源代码 ├── Dockerfile # 镜像构建文件 ├── .gitlab-ci.yml # GitLab CI流水线配置 └── helm/ # 应用Helm Chart ├── Chart.yaml # Chart元数据 ├── values.yaml # 默认值 ├── templates/ # Kubernetes资源模板 │ ├── deployment.yaml │ ├── service.yaml │ └── ingress.yaml └── values/ # 环境特定值 ├── dev.yaml ├── test.yaml └── prod.yaml4.2 配置仓库(gitops-config)gitops-config/ ├── argocd/ # ArgoCD应用定义 │ ├── base/ # 基础应用配置 │ │ └── my-app.yaml │ ├── dev/ # 开发环境 │ │ ├── kustomization.yaml │ │ └── my-app-patch.yaml │ ├── test/ # 测试环境 │ └── prod/ # 生产环境 ├── charts/ # 第三方Helm Chart(可选) └── infrastructure/ # 基础设施组件(如Prometheus, Grafana)五、完整自动化流程详解5.1 流程时序图开发者提交代码 → GitLab CI触发 → 代码检查 → 单元测试 → 构建镜像 → 推送镜像仓库 → 更新Helm Chart版本 → 提交配置到GitLab → GitLab Webhook触发ArgoCD → ArgoCD拉取最新配置 → ArgoCD同步到K8s集群 → 应用健康检查 → 部署完成5.2 步骤1: 编写应用代码与Dockerfile以一个简单的Node.js应用为例:# Dockerfile FROM node:18-alpine WORKDIR /app COPY package*.json ./ RUN npm install COPY . . EXPOSE 3000 CMD [node, server.js]5.3 步骤2: 编写Helm Chart# helm/Chart.yamlapiVersion:v2name:my-appdescription:A Helm chart for my applicationtype:applicationversion:0.1.0appVersion:1.0.0# helm/templates/deployment.yamlapiVersion:apps/v1kind:Deploymentmetadata:name:{{.Release.Name}}spec:replicas:{{.Values.replicaCount}}selector:matchLabels:app:{{.Release.Name}}template:metadata:labels:app:{{.Release.Name}}spec:containers:-name:{{.Chart.Name}}image:{{ .Values.image.repository }}:{{ .Values.image.tag }}ports:-containerPort:3000# helm/values.yamlreplicaCount:1image:repository:shturl.cc/Rw4X3q3acZHjC3St7cCCQjMJssG5Bntag:latestpullPolicy:Always5.4 步骤3: 编写GitLab CI流水线(.gitlab-ci.yml)这是整个自动化流程的核心负责从代码提交到配置更新的全过程。stages:-test-build-deploy-configvariables:DOCKER_DRIVER:overlay2DOCKER_TLS_CERTDIR:IMAGE_NAME:$CI_REGISTRY_IMAGE:$CI_COMMIT_SHORT_SHA# 代码检查与测试test:stage:testimage:node:18-alpinescript:-npm install-npm run lint-npm run test# 构建并推送镜像build-image:stage:buildimage:docker:24.0.5-dindservices:-docker:24.0.5-dindbefore_script:-docker login-u $CI_REGISTRY_USER-p $CI_REGISTRY_PASSWORD $CI_REGISTRYscript:-docker build-t $IMAGE_NAME .-docker push $IMAGE_NAMEonly:-main-develop# 更新Helm配置并推送到配置仓库update-config:stage:deploy-configimage:alpine/git:latestbefore_script:-git config--global user.name GitLab CI-git config--global user.email cishturl.cc/KuOww-git clone https://oauth2:$GITLAB_ACCESS_TOKENgitlab.shturl.cc/KuOww/your-group/gitops-config.git-cd gitops-configscript:# 根据分支确定环境-|if [ $CI_COMMIT_BRANCH main ]; then ENVprod elif [ $CI_COMMIT_BRANCH develop ]; then ENVdev else ENVtest fi# 更新镜像标签-sed -i s|tag:.*|tag:$CI_COMMIT_SHORT_SHA|g argocd/$ENV/my-app-patch.yaml# 提交并推送更改-git add .-git commit-m Update my-app $ENV image to $CI_COMMIT_SHORT_SHA-git push origin mainonly:-main-developneeds:-build-image5.5 步骤4: 创建ArgoCD应用定义在配置仓库中创建ArgoCD应用定义:# gitops-config/argocd/base/my-app.yamlapiVersion:argoproj.io/v1alpha1kind:Applicationmetadata:name:my-appnamespace:argocdspec:project:defaultsource:repoURL:https://gitlab.shturl.cc/KuOww/your-group/app-code.gittargetRevision:HEADpath:helmhelm:valueFiles:-values.yamldestination:server:https://kubernetes.default.svcnamespace:defaultsyncPolicy:automated:prune:trueselfHeal:truesyncOptions:-CreateNamespacetrue# gitops-config/argocd/dev/my-app-patch.yamlspec:source:helm:valueFiles:-values.yaml-values/dev.yamldestination:namespace:dev5.6 步骤5: 应用ArgoCD应用# 应用基础应用定义kubectl apply-fgitops-config/argocd/base/my-app.yaml# 或者使用Kustomize应用环境特定配置kubectl apply-kgitops-config/argocd/dev/六、多环境管理策略6.1 基于分支的环境管理develop分支: 自动部署到开发环境test分支: 自动部署到测试环境main分支: 手动审批后部署到生产环境6.2 基于Helm Values的环境差异化配置在helm/values/目录下为每个环境创建单独的values文件:# helm/values/dev.yamlreplicaCount:1resources:limits:cpu:100mmemory:128Mirequests:cpu:50mmemory:64Mi# helm/values/prod.yamlreplicaCount:3resources:limits:cpu:500mmemory:512Mirequests:cpu:200mmemory:256Mi6.3 生产环境保护措施禁用ArgoCD自动同步改为手动审批配置ArgoCD同步窗口只在特定时间允许部署启用GitLab CI生产环境审批流程配置金丝雀发布或蓝绿部署七、监控与告警7.1 ArgoCD应用状态监控ArgoCD自带应用健康状态监控可通过UI查看:同步状态(Synced/OutOfSync)健康状态(Healthy/Progressing/Degraded/Missing)部署历史7.2 集成Prometheus与Grafana# 安装ArgoCD监控组件kubectl apply-nargocd-fhttps://raw.githubusercontent.com/argoproj/argo-cd/stable/manifests/metrics/argocd-metrics.yaml kubectl apply-nargocd-fhttps://raw.githubusercontent.com/argoproj/argo-cd/stable/manifests/metrics/argocd-server-metrics.yaml kubectl apply-nargocd-fhttps://raw.githubusercontent.com/argoproj/argo-cd/stable/manifests/metrics/argocd-repo-server-metrics.yaml kubectl apply-nargocd-fhttps://raw.githubusercontent.com/argoproj/argo-cd/stable/manifests/metrics/argocd-application-controller-metrics.yaml导入ArgoCD官方Grafana仪表盘(ID: 14584)7.3 配置告警在Prometheus AlertManager中配置以下告警规则:ArgoCD应用同步失败ArgoCD应用健康状态异常ArgoCD组件Pod异常GitLab CI流水线失败八、故障处理与回滚8.1 常见问题排查ArgoCD无法拉取Git仓库: 检查访问令牌权限和网络连接镜像拉取失败: 检查镜像仓库凭证和镜像标签资源创建失败: 检查Kubernetes RBAC权限和资源定义Webhook不触发: 检查GitLab Webhook配置和ArgoCD服务可达性8.2 回滚流程方法1: 通过ArgoCD UI回滚进入ArgoCD应用详情页点击历史记录和回滚选择要回滚的版本点击回滚方法2: 通过ArgoCD CLI回滚# 查看部署历史argocd apphistorymy-app# 回滚到指定版本argocd app rollback my-appREVISION_NUMBER方法3: 通过Git回滚(推荐)# 找到上次正常提交的哈希gitlog--oneline# 回滚配置gitrevertBAD_COMMIT_HASH# 推送更改gitpush origin main九、最佳实践最小权限原则: 为ArgoCD和GitLab CI分配最小必要权限配置分离: 严格分离应用代码和配置代码版本化所有内容: 镜像、Chart、配置都要有明确的版本号自动化测试: 在CI流水线中加入充分的测试定期备份: 备份ArgoCD应用定义和GitLab仓库使用Kustomize管理多环境: 比纯Helm更灵活的多环境管理方式启用ArgoCD审计日志: 记录所有部署操作实施Git分支保护: 禁止直接推送到main分支要求PR和代码审查十、进阶扩展多集群管理: 使用ArgoCD管理多个Kubernetes集群金丝雀发布: 集成Argo Rollouts实现渐进式发布密钥管理: 使用Sealed Secrets或External Secrets管理敏感信息基础设施即代码: 使用Terraform管理云基础设施实现完整的GitOps可观测性集成: 集成ELK/Loki进行日志收集集成Jaeger进行链路追踪