【MySQL运维篇】——日志、主从复制、分库分表、读写分离

【MySQL运维篇】——日志、主从复制、分库分表、读写分离1. 日志1.1 错误日志1.2 二进制日志1.3 查询日志1.4 慢查询日志2. 主从复制2.1 概述2.2 原理3. 分库分表3.1 拆分方式3.2 Mycat3.3 总结4. 读写分离4.1 一主一从4.2 双主双从1. 日志1.1 错误日志错误日志是 MySQL 中最重要的日志之一它记录了当 mysqld 启动和停止时以及服务器在运行过程中发生任何严重错误时的相关信息。当数据库出现任何故障导致无法正常使用时建议首先查看此日志。该日志是默认开启的默认存放目录/var/log/默认的日志文件名为mysqld.log。查看日志位置show variables like%log_error%1.2 二进制日志二进制日志BINLOG记录了所有的 DDL数据定义语言语句和 DML数据操纵语言语句但不包括数据查询SELECT、SHOW语句。作用灾难时的数据恢复MySQL的主从复制在 MySQL8 版本中默认二进制日志是开启着的涉及到的参数如下show variables like %log_bin%1. 日志格式日志格式含义STATEMENT基于SQL语句的日志记录记录的是 SQL 语句对数据进行修改的 SQL 都会记录在日志文件中。ROW基于行的日志记录记录的是每一行的数据变更。默认)MIXED混合了 STATEMENT 和 ROW 两种格式默认采用STATEMENT在某些特殊情况下会自动切换为ROW进行记录。show variables like %binlog_format%;2. 日志查看由于日志是以二进制方式存储的不能直接读取需要通过二进制日志查询工具 mysqlbinlog 来查看具体语法mysqlbinlog [参数选项] logfilename 参数选项 -d 指定数据库名称只列出指定的数据库相关操作。 -o 忽略掉日志中的前n行命令。 -V 将行事件(数据变更重构为 SQL 语句。 -W 将行事件数据变更重构为 SQL 语句并输出注释信息。3. 日志删除对于比较繁忙的业务系统每天生成的 binlog 数据巨大如果长时间不清除将会占用大量磁盘空间。可以通过以下几种方式清理日志指令含义reset master删除全部 binlog 日志删除之后日志编号将从 binlog.000001 重新开始purge master logs to bilog. ******删除******编号之前的所有日志purge master logs before yyyy-mm-dd hh24:mi:ss删除日志为yyyy-mm-dd hh24:mi:ss之前产生的所有日志也可以在 mysql 的配置文件中配置二进制日志的过期时间设置了之后二进制日志过期会自动删除。show variables like %binlog_expire_logs_seconds%;1.3 查询日志查询日志中记录了客户端的所有操作语句而二进制日志不包含查询数据的SQL语句。默认情况下查询日志是未开启的。如果需要开启查询日志可以修改MySQL的配置文件/etc/my.cnf文件添加如下内容#该选项用来开启查询日志可选值0或者10代表关闭1代表开启 general_log1 #设置日志的文件名如果没有指定默认的文件名为host_name.log general_log_filemysql_query.log1.4 慢查询日志慢查询日志记录了所有执行时间超过参数long_query_time设置值并且扫描记录数不小于min_examined_row_limit的所有的 SQL 语句的日志默认未开启。long_query_time默认为 10 秒最小为 0 精度可以到微秒。#慢查询日志 slow_query_log1 #执行时间参数 long_query_time2默认情况下不会记录管理语句也不会记录不使用索引进行查找的查询。可以使用log_slow_admin_statements和更改此行为log_queries_not_using_indexes如下所述。#记录执行较慢的管理语句 log_slow_admin_statements1 #记录执行较慢的未使用索引的语句 log_queries_not_using_indexes12. 主从复制2.1 概述主从复制是指将主数据库的 DDL 和 DML 操作通过二进制日志传到从库服务器中然后在从库上对这些日志重新执行也叫重做从而使得从库和主库的数据保持同步。MySQL 支持一台主库同时向多台从库进行复制从库同时也可以作为其他从服务器的主库实现链状复制。MySQL 主从复制的优点主库Master出现问题可以快速切换到从库Slave提供服务。实现读写分离降低主库Master的访问压力。可以在从库Slave中执行备份以避免备份期间影响主库Master服务。2.2 原理从上图来看复制分成三步Master 主库在事务提交时会把数据变更记录在二进制日志文件 Binlog中。从库中的 IOThread 一个线程读取主库的二进制日志文件 Binlog写入到从库的中继日志Relay Log。Slave 重做中继日志中的事件将改变反映它自己的数据。通过SQLThread3. 分库分表分库分表的中心思想都是将数据分散存储使得单一的数据库/表的数据量变小来缓解单一数据库的性能问题从而达到提升数据库性能的目的。3.1 拆分方式1. 垂直拆分垂直分库以表为依据根据业务将不同表拆分到不同库中。每个库的表结构都不一样。每个库的数据也不一样。所有库的并集是全量数据。垂直分表以字段为依据根据字段属性将不同字段拆分到不同表中。每个表的结构都不一样。每个表的数据也不一样一般通过一列主键/外键关联。所有表的并集是全量数据。2. 水平拆分水平分库以字段为依据按照一定策略将一个库的数据拆分到多个库中。每个库的表结构都一样。每个库的数据都不一样。所有库的并集是全量数据。水平分表以字段为依据按照一定策略将一个表的数据拆分到多个表中。每个表的表结构都一样。每个表的数据都不一样。所有表的并集是全量数据。实现分库分表的技术shardingJDBC基于 AOP 原理在应用程序中对本地执行的 SQL 进行拦截解析、改写、路由处理。需要自行编码配置实现只支持 java 语言性能较高。MyCat数据库分库分表中间件不用调整代码?即可实现分库分表支持多种语言性能不及前者。3.2 MycatMycat是开源的、活跃的、基于 Java 语言编写的 MysQL 数据库中间件。可以像使用 mysql 一样来使用 mycat 对于开发人员来说根本感觉不到 mycat 的存在。Mycat 不存数据只是在逻辑上对数据进行分片处理。1. Mycat 的分片规则范围分片取模分片根据指定字段值求模一致性 hash 分片计算字段 hash 值进行分片枚举分片根据字段枚举值分片应用指定分片由应用自主决定路由到哪个分片先求取指定字段的子字符串必须为数字计算分片号固定分片 hash 算法取 id 的二进制低10位与1111111111进行位运算分片字段必须为数字类型固定分片 hash 算法与取模分片的区别取模连续的值分别分配到各个不同分片固定分片 hash 算法会将连续的值分配到相同的分片降低事务处理难度可以均匀分配也可以非均匀分配字符串 hash 解析分片截取字符串中指定位置的子字符串计算子字符串的 hash 值再进行位与运算(1024-1)按天日期分片按自然月分片一个月存在一个分片节点中2. Mycat 原理3. Mycat 的管理及监控Mycat默认开通2个端口可以在 server.xml 中进行修改。8066数据访问端口即进行DML和DDL操作。9066数据库管理端口即 mycat 服务管理控制功能用于管理 mycat 的整个集群状态通过 Mycat-eye(Mycat-web) 对 mycat-server 提供监控服务功能不局限于 mycat-server 使用。需要安装 zookeeper Mycat-eye 的运行过程中需要依赖 zookeeper和 Mycat-web ,安装并关联后可通过访问地址进入可视化网页来监控。3.3 总结分库分表介绍核心将单台数据库服务器的数据分散垂直拆分、水平拆分存储在多台数据库中。Mycat 概述Mycat 是一个开源的分库分表的中间件Mycat 入门入门程序Mycat 配置Schema.xml、rule.xml、server.xmlMycat 分片分片规则范围、取模、枚举、一致性 hash 、固定分片 hash 算法、字符串 hash 解析算法、按天分片、按自然月分片。Mycat 管理及监控原理、管理、监控工具4. 读写分离读写分离简单地说是把对数据库的读和写操作分开以对应不同的数据库服务器。主数据库Master提供写操作从数据库Slave提供读操作这样能有效地减轻单台数据库的压力。通过 Mycat 即可轻易实现上述功能不仅可以支持 MySQL 也可以支持 Oracle 和 SQLServer。主从库复制是基于二进制日志 binlog 实现的。4.1 一主一从主库写从库读主库数据能同步到从库从库数据不能同步到主库4.2 双主双从能解决主节点 Master 宕机之后业务只能读不能写的问题。一个主机 M1 用于处理所有写请求它的从机 S1 和另一台主机 M2 以及 S2 负责所有读请求当 M1 宕机之后 M2 负责写请求M1 与 M2 互为备机。