Docker Compose编排Zookeeper集群实战（超详细）

1. 为什么需要Zookeeper集群Zookeeper作为分布式系统的协调员在微服务架构中扮演着关键角色。我遇到过不少开发者刚开始只部署单节点结果当这个节点挂掉时整个系统就瘫痪了。集群部署能带来三大核心优势高可用性是集群最直接的价值。去年我们一个电商项目就吃过亏大促时单节点Zookeeper宕机导致所有订单服务无法协调。后来改用三节点集群后即使一台物理机故障服务依然能自动切换。数据一致性通过ZAB协议保证。我做过一个测试在五节点集群中随机停掉两个节点剩余节点仍能保持数据同步。这得益于它的多数派写入机制——只要超过半数节点存活就能正常工作。负载均衡在实际生产环境中特别实用。通过客户端连接不同的Zookeeper节点可以避免单个节点压力过大。我们有个物联网平台设备连接数突破50万时三节点集群的CPU负载始终保持在30%以下。2. 环境准备与规划2.1 硬件资源建议根据我的踩坑经验集群部署前要做好资源规划。下面这个表格是我总结的配置参考节点规模CPU核心内存磁盘类型网络带宽开发环境2核4GBSSD1Gbps测试环境4核8GBNVMe2.5Gbps生产环境8核16GBRAID1010Gbps特别提醒避免所有节点部署在同一物理机有次我们为省事把三个节点放同一台服务器结果电源故障导致全集群不可用。建议至少跨三个可用区。2.2 软件依赖安装先确保所有节点已安装Docker和Docker Compose。这是我验证过的版本组合# 检查Docker版本建议20.10 docker --version # 检查Docker Compose版本建议v2.2 docker compose version如果尚未安装可以用这个一键脚本# Ubuntu/CentOS通用安装命令 curl -fsSL https://get.docker.com | sh sudo systemctl enable --now docker sudo curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose sudo chmod x /usr/local/bin/docker-compose3. 编写docker-compose.yml3.1 完整配置示例这是我优化过的三节点配置直接保存为docker-compose.ymlversion: 3.9 services: zoo1: image: zookeeper:3.9.2 hostname: zoo1 container_name: zoo1 ports: - 2181:2181 - 2888:2888 - 3888:3888 volumes: - ./data/zoo1:/data - ./datalog/zoo1:/datalog - ./conf/zoo1:/conf environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.10.0.0.0:2888:3888;2181 server.2zoo2:2888:3888;2181 server.3zoo3:2888:3888;2181 ZOO_STANDALONE_ENABLED: false networks: - zk_net zoo2: image: zookeeper:3.9.2 hostname: zoo2 container_name: zoo2 ports: - 2182:2181 - 2889:2888 - 3889:3888 volumes: - ./data/zoo2:/data - ./datalog/zoo2:/datalog - ./conf/zoo2:/conf environment: ZOO_MY_ID: 2 ZOO_SERVERS: server.1zoo1:2888:3888;2181 server.20.0.0.0:2888:3888;2181 server.3zoo3:2888:3888;2181 networks: - zk_net zoo3: image: zookeeper:3.9.2 hostname: zoo3 container_name: zoo3 ports: - 2183:2181 - 2890:2888 - 3890:3888 volumes: - ./data/zoo3:/data - ./datalog/zoo3:/datalog - ./conf/zoo3:/conf environment: ZOO_MY_ID: 3 ZOO_SERVERS: server.1zoo1:2888:3888;2181 server.2zoo2:2888:3888;2181 server.30.0.0.0:2888:3888;2181 networks: - zk_net networks: zk_net: driver: bridge ipam: config: - subnet: 172.20.0.0/243.2 关键配置解析端口映射规则218X客户端连接端口X对应节点号288X节点间数据同步端口388X选举通信端口数据持久化/data存储快照数据/datalog事务日志WAL/conf自定义配置文件目录环境变量玄机ZOO_MY_ID必须唯一且为1-255整数ZOO_SERVERS中的0.0.0.0表示当前节点自身ZOO_STANDALONE_ENABLEDfalse强制启用集群模式4. 启动与验证集群4.1 一键启动集群# 后台启动所有服务 docker compose up -d # 查看容器状态应显示3个Up状态容器 docker compose ps启动过程可能需要1-2分钟完成选举。可以通过日志观察选举过程# 查看zoo1的选举日志 docker logs -f zoo1 | grep -i election4.2 集群健康检查这是我常用的验证脚本#!/bin/bash for port in 2181 2182 2183; do echo Checking node on port $port... echo stat | nc localhost $port | grep Mode echo ---------------------------------- done预期输出类似Checking node on port 2181... Mode: follower ---------------------------------- Checking node on port 2182... Mode: leader ---------------------------------- Checking node on port 2183... Mode: follower ----------------------------------4.3 客户端连接测试使用官方zkCli.sh进行跨节点写入验证# 连接到zoo1写入数据 docker exec -it zoo1 zkCli.sh -server localhost:2181 create /testcluster hello # 从zoo3查询数据应能读取到 docker exec -it zoo3 zkCli.sh -server localhost:2181 get /testcluster5. 生产环境优化建议5.1 性能调优参数在conf/zoo.cfg中添加这些配置# 提高快照和日志清理频率单位小时 autopurge.purgeInterval1 autopurge.snapRetainCount5 # 增大客户端连接数限制 maxClientCnxns1000 # 调整JVM堆大小根据物理内存调整 environment: JVMFLAGS: -Xms4G -Xmx4G -XX:UseG1GC5.2 监控方案推荐组合使用这些方法四字命令监控echo mntr | nc localhost 2181PrometheusGranfaenvironment: ZOO_CFG_EXTRA: metricsProvider.classNameorg.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider metricsProvider.httpPort7000日志告警监控WARN和ERROR级别日志5.3 灾备演练定期模拟节点故障验证集群自愈能力# 随机停止一个节点 docker stop zoo$(shuf -i 1-3 -n 1) # 观察剩余节点日志应自动重新选举 docker compose logs -f | grep -i election # 恢复节点后检查数据一致性 docker start zoo1 docker exec -it zoo1 zkCli.sh -server localhost:2181 sync /testcluster6. 常见问题排查选举问题如果长时间没有Leader检查防火墙是否开放2888/3888端口节点间时钟是否同步建议部署NTP服务ZOO_SERVERS配置是否包含所有节点连接问题客户端报ConnectionLoss时# 检查每个节点的连接数 echo cons | nc localhost 2181 # 查看网络延迟 docker network inspect zk_zk_net数据不一致手动触发同步docker exec -it zoo1 zkCli.sh -server localhost:2181 sync /