MySQL高可用MGR入门（4）异常恢复

点击蓝字

关注我们

前文阅读&＃xff1a;

1.MySQL高可用--MGR入门&＃xff08;1&＃xff09;单主/多主模式搭建

2.MySQL高可用--MGR入门&＃xff08;2&＃xff09;组复制监控常用相关表

3.MySQL高可用--MGR入门&＃xff08;3&＃xff09;单主/多主模式切换

1.网络异常

MGR 对网络要求很高&＃xff0c;有的时候会因网络波动&＃xff0c;自动退出集群的情况&＃xff0c;此时需要先在出问题的节点停止组复制&＃xff0c;然后再重新加入到集群中。

如下&＃xff0c;该节点被踢出集群&＃xff0c;直接执行Stop group_replication;报错&＃xff1a;

需要先执行 stop group_replication 然后再 start group_replication&＃xff1a;

Stop group_replication;
Start group_replication;

2.节点启动长时间处于RECOVERING

• 查看日志&＃xff1a;

• 在主节点将密码的加密方式修改&＃xff1a;

SET SQL_LOG_BIN&＃61;0;
alter USER repl&＃64;&＃39;%&＃39; IDENTIFIED WITH mysql_native_password BY &＃39;repl&＃39;;
GRANT REPLICATION SLAVE ON *.* TO repl&＃64;&＃39;%&＃39;;
GRANT BACKUP_ADMIN ON *.* TO repl&＃64;&＃39;%&＃39;;
FLUSH PRIVILEGES;
SET SQL_LOG_BIN&＃61;1;

• 再重启两个从节点&＃xff1a;

STOP GROUP_REPLICATION;
START GROUP_REPLICATION;

• 2节点状态恢复正常&＃xff1a;
  

• 3节点状态恢复正常&＃xff1a;

3.数据异常修复

3.1暂时性恢复

MGR 对数据具有一定的容错性和最终一致性&＃xff0c;原则上并不会出现数据不一致的情况&＃xff0c;并且每次执行事务都会检测冲突&＃xff0c;如果某个节点的数据因为异常导致不一致&＃xff0c;切主节点的 binlog 丢失的情况&＃xff0c;势必会导致集群数据不一致&＃xff0c;此时可以通过以下的方法暂时让集群起来。

停止异常节点的组复制Stop group_replication;清空当前的 GTID EXECUTEDReset master;在异常节点将 GTID 事务号设置和主节点一致SET &＃64;&＃64;GLOBAL.GTID_PURGED&＃61;&＃39;主节点的 GTID 号&＃39;;启动异常节点的组复制Start group_replication;

这里需要注意&＃xff0c;这样的方式即使恢复了集群&＃xff0c;因为 binlog 的缺失&＃xff0c;实际上数据是不一致的&＃xff0c;极有可能发生后续因为数据不一致导致集群出现问题&＃xff0c;这里强烈不建议这么做。

4.分布式恢复

前面提到了暂时性的集群恢复&＃xff0c;这样的恢复会有很大的问题&＃xff0c;这里将阐述 MGR 正常的恢复方式。当 MGR 中新的成员加入节点时&＃xff0c;通常有两种方法&＃xff0c;当 binlog 全&＃xff0c;或者 binlog 在删除前接入的节点能够成功继续往下同步的&＃xff0c;则新加入的节点会继续同步下去&＃xff0c;在 MySQL 8.0.21 版本中&＃xff0c;可以通过设置参数&＃xff1a;

group_replication_advertise_recovery_endpoints

来进行指定点进行同步。

如果在 binlog 不可用或者差的数据实在太多的情况下&＃xff0c;MySQL 在 8.0.17 后退出了克隆的方式进行恢复&＃xff0c;即在集群中的所有 MySQL 节点上添加克隆插件&＃xff0c;新加入的节点数据将会被全部删除&＃xff0c;然后会被自动重新同步数据。

4.1节点分布式恢复

读节点重新加入环境。

模拟读节点重新加入&＃xff0c;首先观察主节点的数据以及事务的情况&＃xff1a;

此时将节点 3&＃xff0c;清除所有数据&＃xff0c;清除同步信息&＃xff0c;重新初始化 MySQL&＃xff0c;模拟成新节点。

• 已有数据&＃xff1a;
  

• 关库&＃xff1a;

• 删数据文件&＃xff1a;

此时3节点已经被集群踢出去了&＃xff1a;

• 重新初始化&＃xff0c;启动&＃xff0c;并登录&＃xff1a;

初始化
mysqld --defaults-file&＃61;/etc/my.cnf --basedir&＃61;/usr/local/mysql --initialize-insecure --datadir&＃61;/data/3306/data --user&＃61;mysql &
启动
mysqld_safe --defaults-file&＃61;/etc/my.cnf --user&＃61;mysql & 
登录
mysql -u root

这里注意&＃xff0c;因为 2 节点的的 IP 已经添加到了所有节点的 group_replication_group_seeds 中&＃xff0c;所以不再添加&＃xff0c;如果是新的 IP 加入节点&＃xff0c;必须在所有其他节点上 group_replication_group_seeds 中添加新节点的IP。

• 按照搭建 MGR 节点的步骤&＃xff0c;将节点 2 添加到集群中&＃xff1a;

Reset master;
INSTALL PLUGIN group_replication SONAME &＃39;group_replication.so&＃39;;
CHANGE MASTER TO MASTER_USER&＃61;&＃39;repl&＃39;, MASTER_PASSWORD&＃61;&＃39;repl&＃39; FOR CHANNEL &＃39;group_replication_recovery&＃39;;
START GROUP_REPLICATION;

• 已经重新加入到集群中&＃xff0c;数据也同步回来&＃xff1a;
  

• 可以看到同步事务已经一致&＃xff1a;
  

4.2克隆恢复

MySQL 8.0.17 后可以使用克隆恢复。

这里我们依然采用节点 3 作为需要接收克隆的节点。

• 首先在源节点和接收克隆的节点添加克隆插件&＃xff1a;

INSTALL PLUGIN clone SONAME &＃39;mysql_clone.so&＃39;;

• 同样因为是组复制&＃xff0c;所以节点 3 必须装组复制插件&＃xff1a;

INSTALL PLUGIN group_replication SONAME &＃39;group_replication.so&＃39;;

• 其次在提供克隆的节点上&＃xff0c;也就是节点 1 上赋权&＃xff1a;

CREATE USER clone_user&＃64;&＃39;%&＃39; IDENTIFIED by &＃39;123456&＃39;;
GRANT BACKUP_ADMIN ON *.* TO &＃39;clone_user&＃39;&＃64;&＃39;%&＃39;;

• 在接收克隆的目标节点&＃xff0c;也就是节点 2 上赋权&＃xff1a;

CREATE USER clone_user&＃64;&＃39;%&＃39; IDENTIFIED by &＃39;123456&＃39;;
GRANT CLONE_ADMIN ON *.* TO &＃39;clone_user&＃39;&＃64;&＃39;%&＃39;;

• 在接收克隆的目标节点上设置源端的白名单&＃xff1a;

SET GLOBAL clone_valid_donor_list &＃61; &＃39;192.168.168.101:3360&＃39;;

• 为了验证克隆是否会清除接收端上的数据&＃xff0c;这里我们多建几个 schema 在节点3执行&＃xff1a;

CLONE INSTANCE FROM clone_user&＃64;&＃39;192.168.168.101&＃39;:3360 IDENTIFIED BY &＃39;123456&＃39;;

• 完成之后&＃xff0c;把节点3重新加入到集群&＃xff1a;

CHANGE MASTER TO MASTER_USER&＃61;&＃39;repl&＃39;, MASTER_PASSWORD&＃61;&＃39;repl&＃39; FOR CHANNEL &＃39;group_replication_recovery&＃39;;
start GROUP_REPLICATION;

• 完成恢复

墨天轮原文链接&＃xff1a;https://www.modb.pro/db/170916?sjhy&＃xff08;复制链接至浏览器或点击文末阅读原文查看)

关于作者

陈家睿&＃xff0c;云和恩墨MySQL技术顾问,拥有MySQL OCP、PGCE、OBCA、SCDP证书&＃xff0c;长期服务于电信行业。现负责公司MySQL数据库、分布式数据库运维方面的技术工作&＃xff1b;热衷于运维故障处理、备份恢复、升级迁移、性能优化的学习与分享。

END

推荐阅读&＃xff1a;331页&＃xff01;2021年度数据库技术年刊

推荐下载&＃xff1a;2021数据技术嘉年华视频回放及PPT下载

2021数据技术嘉年华50余个PPT下载、视频回放已上传墨天轮平台&＃xff0c;可在“数据和云”公众号回复关键词“2021DTC”获得&＃xff01;

你知道吗&＃xff1f;我们的视频号里已经发布了很多精彩的内容&＃xff0c;快去看看吧&＃xff01;↓↓↓

点击下图查看更多 ↓

云和恩墨大讲堂 | 一个分享交流的地方

长按&＃xff0c;识别二维码&＃xff0c;加入万人交流社群

请备注&＃xff1a;云和恩墨大讲堂

  点个“在看” 

你的喜欢会被看到❤