热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

mysql读写分离延时_MySQL读写分离及主从同步延时解决方案

读写分离的实现是基于主从复制架构:一主多从,只写主库,主库会自动将数据同步到从库。1为什么要读写分离?主库将变更写binlo

读写分离的实现是基于主从复制架构:一主多从,只写主库,主库会自动将数据同步到从库。

1 为什么要读写分离?

主库将变更写binlog日志,然后从库连接到主库后,从库有个I/O线程,将主库的binlog日志拷贝到本地,写入一个中继日志。

接着从库中有一个SQL线程会从中继日志读取binlog,然后执行binlog日志中的内容。即在本地再次执行一遍SQL,确保跟主库的数据相同。

2 MySQL主从复制原理

MySQL的每个增删改的会改变数据的操作,除了更新数据外,对这个增删改操作还会写入一个日志文件,记录这个操作的日志,即binlog。

mysql 5.7新版本的并行复制,多个SQL线程,每个线程从relay日志里读一个库的

日志,重放。

从库同步主库数据的过程是串行化的,即主库上并行的操作,在从库上会串行执行。

由于从库从主库拷贝日志以及串行执行SQL的特点,在高并发下就有延时,从库数据一定比主库慢,所以经常出现,刚写入主库的数据读不到,要过几十甚至几百ms才能读到。

从库串行化过程:

读取binlog日志

写relay日志、应用日志变更到自己本地数据

从库的IO线程,读取主库的binlog日志时,老版本是单线程;

5.6.x之后的新版本支持多线程读取

另外的问题,若主库突然宕机,恰好数据还没同步到从库,那么有些数据可能在从库上是没有的,可能就这么丢失了。

所以MySQL实际上在这有两个机制

3 半同步复制

semi-sync,解决主库数据丢失问题。

主库写入binlog日志后,会强制立即将数据同步到从库

从库将日志写入自己的relay log后,会返回ack给主库

主库接收到至少一个从库的ack后才会认为写操作完成

4 并行复制

解决主从同步延时问题。

从库开启多线程,并行读取relay log中不同库的日志,然后并行重放不同库的日志,这是库级别的并行。

5 MySQL主从同步适用场景

建议一般在读远远多于写,且读的时候一般对数据时效性要求没那么高的时候采用。所以我们可以考虑的就是,你可以用MySQL的并行复制,但问题是那是库级别的并行,所以有时候作用不是很大。

此时,通常来说,我们会对于那种写后立马就要保证可以查到的场景,采用强制读主库的方式,确保你肯定可以读到数据。其实用一些数据库中间件也是没问题的。

一般若主从延迟较为严重:

分库 : 将一个主库拆分,每个主库的写并发就降低了,主从延迟即可忽略不计

打开MySQL支持的并行复制,多个库并行复制,若某个库的写入并发特别高,写并发达到了2000/s,并行复制还是没意义。二八法则,很多时候比如说,就是少数的几个订单表,写入了2000/s,其他几十个表10/s

重构代码 : 重构代码,插入数据后,直接更新,不查询

若确实存在必须先插入,立马要求查询,然后立马就反过来执行一些操作,对这个查询设置直连主库(不推荐,这么搞导致读写分离的意义丧失)

作者: qq_33589510

链接: https://blog.csdn.net/qq_33589510/article/details/95791086

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

到此这篇关于“MySQL读写分离及主从同步延时解决方案”的文章就介绍到这了,更多文章或继续浏览下面的相关文章,希望大家以后多多支持Go语言编程网!

相关文章:



推荐阅读
  • 在Android应用开发过程中,开发者经常遇到诸如CPU使用率过高、内存泄漏等问题。本文将介绍几种常用的命令及其应用场景,帮助开发者有效定位并解决问题。 ... [详细]
  • 为何Compose与Swarm之后仍有Kubernetes的诞生?
    探讨在已有Compose和Swarm的情况下,Kubernetes是如何以其独特的设计理念和技术优势脱颖而出,成为容器编排领域的领航者。 ... [详细]
  • 软件测试行业深度解析:迈向高薪的必经之路
    本文深入探讨了软件测试行业的发展现状及未来趋势,旨在帮助有志于在该领域取得高薪的技术人员明确职业方向和发展路径。 ... [详细]
  • 问题描述现在,不管开发一个多大的系统(至少我现在的部门是这样的),都会带一个日志功能;在实际开发过程中 ... [详细]
  • 流处理中的计数挑战与解决方案
    本文探讨了在流处理中进行计数的各种技术和挑战,并基于作者在2016年圣何塞举行的Hadoop World大会上的演讲进行了深入分析。文章不仅介绍了传统批处理和Lambda架构的局限性,还详细探讨了流处理架构的优势及其在现代大数据应用中的重要作用。 ... [详细]
  • PHP面试题精选及答案解析
    本文精选了新浪PHP笔试题及最新的PHP面试题,并提供了详细的答案解析,帮助求职者更好地准备PHP相关的面试。 ... [详细]
  • Hibernate全自动全映射ORM框架,旨在消除sql,是一个持久层的ORM框架1)、基础概念DAO(DataAccessorOb ... [详细]
  • Docker安全策略与管理
    本文探讨了Docker的安全挑战、核心安全特性及其管理策略,旨在帮助读者深入理解Docker安全机制,并提供实用的安全管理建议。 ... [详细]
  • 如何在Django框架中实现对象关系映射(ORM)
    本文介绍了Django框架中对象关系映射(ORM)的实现方式,通过ORM,开发者可以通过定义模型类来间接操作数据库表,从而简化数据库操作流程,提高开发效率。 ... [详细]
  • 知识图谱与图神经网络在金融科技中的应用探讨
    本文详细介绍了融慧金科AI Lab负责人张凯博士在2020爱分析·中国人工智能高峰论坛上的演讲,探讨了知识图谱与图神经网络模型如何在金融科技领域发挥重要作用。 ... [详细]
  • CentOS下ProFTPD的安装与配置指南
    本文详细介绍在CentOS操作系统上安装和配置ProFTPD服务的方法,包括基本配置、安全设置及高级功能的启用。 ... [详细]
  • 本文探讨了如何通过Service Locator模式来简化和优化在B/S架构中的服务命名访问,特别是对于需要频繁访问的服务,如JNDI和XMLNS。该模式通过缓存机制减少了重复查找的成本,并提供了对多种服务的统一访问接口。 ... [详细]
  • 本文详细介绍如何在华为鲲鹏平台上构建和使用适配ARM架构的Redis Docker镜像,解决常见错误并提供优化建议。 ... [详细]
  • 如何在U8系统中连接服务器并获取数据
    本文介绍了如何在U8系统中通过不同的方法连接服务器并获取数据,包括使用MySQL客户端连接实例的方法,如非SSL连接和SSL连接,并提供了详细的步骤和注意事项。 ... [详细]
  • 深入解析:存储技术的演变与发展
    本文探讨了从单机文件系统到分布式文件系统的存储技术发展过程,详细解释了各种存储模型及其特点。 ... [详细]
author-avatar
Yvette-XY
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有