热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Redis探索之旅(12)Redis主从架构复制原理

在前一篇文章中,对Redis主从复制进行了较为详细的说明,本文将参考redis官网上关于主从复制的说明进行简单说明一下,这里对官网的英文描述进行简单翻译说明一下。首先说明下主从复制

在前一篇文章中,对Redis主从复制进行了较为详细的说明,本文将参考redis官网上关于主从复制的说明进行简单说明一下,这里对官网的英文描述进行简单翻译说明一下。首先说明下主从复制的特点,然后对主从复制的原理进行简单描述,最后对主从复制需要注意的问题进行说明。

官网说明:http://redis.io/topics/replication

首先,我们看看主从复制的一些特点:

(1)采用异步复制;

(2)一个主redis可以含有多个从redis;

(3)每个从redis可以接收来自其他从redis服务器的连接;

(4)主从复制对于主redis服务器来说是非阻塞的,这意味着当从服务器在进行主从复制同步过程中,主redis仍然可以处理外界的访问请求;

(5)主从复制对于从redis服务器来说也是非阻塞的,这意味着,即使从redis在进行主从复制过程中也可以接受外界的查询请求,只不过这时候从redis返回的是以前老的数据,如果你不想这样,那么在启动redis时,可以在配置文件中进行设置,那么从redis在复制同步过程中来自外界的查询请求都会返回错误给客户端;(虽然说主从复制过程中对于从redis是非阻塞的,但是当从redis从主redis同步过来最新的数据后还需要将新数据加载到内存中,在加载到内存的过程中是阻塞的,在这段时间内的请求将会被阻塞,但是即使对于大数据集,加载到内存的时间也是比较多的);

(6)主从复制提高了redis服务的扩展性,避免单个redis服务器的读写访问压力过大的问题,同时也可以给为数据备份及冗余提供一种解决方案;

(7)为了编码主redis服务器写磁盘压力带来的开销,可以配置让主redis不在将数据持久化到磁盘,而是通过连接让一个配置的从redis服务器及时的将相关数据持久化到磁盘,不过这样会存在一个问题,就是主redis服务器一旦重启,因为主redis服务器数据为空,这时候通过主从同步可能导致从redis服务器上的数据也被清空;

接下来我们看看redis大概主从同步是怎么实现的?

redis主从同步分为两种情况,一种是全量同步(使用SYNC),一种是部分同步(使用PSYNC)。

那么两者有什么不同呢?

全量同步:master服务器会开启一个后台进程用于将redis中的数据生成一个rdb文件,与此同时,服务器会缓存所有接收到的来自客户端的写命令(包含增、删、改),当后台保存进程处理完毕后,会将该rdb文件传递给slave服务器,而slave服务器会将rdb文件保存在磁盘并通过读取该文件将数据加载到内存,在此之后master服务器会将在此期间缓存的命令通过redis传输协议发送给slave服务器,然后slave服务器将这些命令依次作用于自己本地的数据集上最终达到数据的一致性。

部分同步:从redis 2.8版本以前,并不支持部分同步,当主从服务器之间的连接断掉之后,master服务器和slave服务器之间都是进行全量数据同步,但是从redis 2.8开始,即使主从连接中途断掉,也不需要进行全量同步,因为从这个版本开始融入了部分同步的概念。部分同步的实现依赖于在master服务器内存中给每个slave服务器维护了一份同步日志和同步标识,每个slave服务器在跟master服务器进行同步时都会携带自己的同步标识和上次同步的最后位置。当主从连接断掉之后,slave服务器隔断时间(默认1s)主动尝试和master服务器进行连接,如果从服务器携带的偏移量标识还在master服务器上的同步备份日志中,那么就从slave发送的偏移量开始继续上次的同步操作,如果slave发送的偏移量已经不再master的同步备份日志中(可能由于主从之间断掉的时间比较长或者在断掉的短暂时间内master服务器接收到大量的写操作),则必须进行一次全量更新。在部分同步过程中,master会将本地记录的同步备份日志中记录的指令依次发送给slave服务器从而达到数据一致。

最后,我们对需要主要的几个问题进行说明。

(1)在上面的全量同步过程中,master会将数据保存在rdb文件中然后发送给slave服务器,但是如果master上的磁盘空间有效怎么办呢?那么此时全部同步对于master来说将是一份十分有压力的操作了。此时可以通过无盘复制来达到目的,由master直接开启一个socket将rdb文件发送给slave服务器。(无盘复制一般应用在磁盘空间有限但是网络状态良好的情况下)

(2)主从复制结构,一般slave服务器不能进行写操作,但是这不是死的,之所以这样是为了更容易的保证主和各个从之间数据的一致性,如果slave服务器上数据进行了修改,那么要保证所有主从服务器都能一致,可能在结构上和处理逻辑上更为负责。不过你也可以通过配置文件让从服务器支持写操作。(不过所带来的影响还得自己承担哦。。。)

(3)主从服务器之间会定期进行通话,但是如果master上设置了密码,那么如果不给slave设置密码就会导致slave不能跟master进行任何操作,所以如果你的master服务器上有密码,那么也给slave相应的设置一下密码吧(通过设置配置文件中的masterauth);

(4)关于slave服务器上过期键的处理,由master服务器负责键的过期删除处理,然后将相关删除命令已数据同步的方式同步给slave服务器,slave服务器根据删除命令删除本地的key。

备注:关于本文如果有写的不对的地方,还望指出,谢谢。

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。互联网+时代,时刻要保持学习,携手千锋PHP,Dream It Possible。


推荐阅读
  • Redis编译安装+php redis拓展
    2019独角兽企业重金招聘Python工程师标准编译安装服务器端wgethttp:download.redis.ioreleasesre ... [详细]
  • 引起w3wp.exe(IIS)Cpu占用100%的常见原因如下:1.Web访问量大,从而服务器压力大而引起的2.动态页面(.aspx)的程序逻辑复杂程度 ... [详细]
  • 点击上方[全栈开发者社区]→右上角[]→[设为星标⭐]Nginx是一个高性能的HTTP和反向代理服务器,特点是占用内存少,并发能力强, ... [详细]
  • nginx配置浅谈
    nginx配置浅谈 ... [详细]
  • 无法查找或打开 pdb 文件。_Crash Dump调试:Symbol Server/Source Server、PDB原理分析
    背景UE4引擎时不时要魔改编译。可能大一点的项目是难以避免的吧┓(∀)┏工程C会自动编译,有持续集成平台做统一的编译和分发。这样可以不用每个人都编译引擎和工程C了&# ... [详细]
  • 1、什么是Struts?   Struts是基于MVC的轻量级框架,主要处理请求分发的问题,重心在控制层和表现层。   –基于MVC:实现了MVC,满足MVC的设计思想。   –轻 ... [详细]
  • MATLAB人体行为检测与识别
    人体行为检测与识别摘要人体行为检测与识别是当前研究的重点,具有很高的研究价值和广阔的应用前景。主要应用在型人机交互、运动分析、智能监控和虚拟现实也称灵境技术ÿ ... [详细]
  • 1、war是一个web模块,其中需要包括WEB-INF,是可以直接运行的WEB模块;jar一般只是包括一些class文件,在声明了Main_class之后是可以用java命令运行的。2、wa ... [详细]
  • DimmyCompasnewMySTAComponent()PublicSubPage_Load()myComp.Name=BobEndSub  首选机 ... [详细]
  • 一文讲透Cluster API的前世、今生与未来
    一文,讲,透,cluster,api,的, ... [详细]
  • 传统c语言开发,C语言系统开发
    本文目录一览:1、简述开发一个c语言程序的步骤 ... [详细]
  • 本文主要参考《Python机器学习经典实例》  在介绍凝聚层次聚类之前,我们需要先理解层次聚类(hierarchicalclustering)。层次聚类是一组聚类算法,通过不断地分 ... [详细]
  • 深入分析 Linux 内核链表转
    引用地址:http:www.ibm.comdeveloperworkscnlinuxkernell-chainindex.html一、链表数据结构简介链表是一种常用的 ... [详细]
  • 视频鉴黄提供视频内容检测,识别视频中是否存在色情内容。支持存储在七牛云bucket(支持华东、华北和华南bucket)或非七牛云bucket中的视频进行视频鉴黄。支持 ... [详细]
  • Joda-Time 学习笔记
    一Jode-Time介绍任何企业应用程序都需要处理时间问题。应用程序需要知道当前的时间点和下一个时间点,有时它们还必须计算这两个时间点之间的路径。使用JDK完成这项任务将非常痛苦和繁琐。既 ... [详细]
author-avatar
一月的泰迪熊
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有