NoSQL之Redis主从复制、哨兵和集群介绍

1.主从复制的概念

主从复制&＃xff0c;是指将一台 Redis 服务器的数据&＃xff0c;复制到其他的 Redis 服务器。前者称为主节点(Master)&＃xff0c;后者称为从节点(Slave)&＃xff1b;数据的复制是单向的&＃xff0c;只能由主节点到从节点。

默认情况下&＃xff0c;每台 Redis 服务器都是主节点&＃xff1b;且一个主节点可以有多个从节点 (或没有从节点)&＃xff0c;但一个从节点只能有一个主节点。

2.主从复制的作用

1. 数据冗余&＃xff1a;主从复制实现了数据的热备份&＃xff0c;是持久化之外的一种数据冗余方式
2. 故障恢复&＃xff1a;当主节点出现问题时&＃xff0c;可以由从节点提供服务&＃xff0c;实现快速的故障恢复&＃xff1b;实际上是一种服务的冗余
3. >负载均衡&＃xff1a;在主从复制的基础上&＃xff0c;配合读写分离&＃xff0c;可以由主节点提供写服务&＃xff0c;由从节点提供读服务 (即写 Redis 数据时应用连接主节点&＃xff0c;读 Redis 数据时应用连接从节点)&＃xff0c;分担服务器负载&＃xff1b;尤其是在写少读多的场景下&＃xff0c;通过多个从节点分担读负载&＃xff0c;可以大大提高Redis服务器的并发量
4. 高可用基石&＃xff1a;除了上述作用以外&＃xff0c;主从复制还是哨兵和集群能够实施的基础&＃xff0c;因此说主从复制是Redis高可用的基础

3.主从复制的流程

1. 若启动一个Slave机器进程&＃xff0c;则它会向Master机器发送一个“sync command" 命令&＃xff0c;请求同步连接。
2. 无论是第一次连接还是重新连接&＃xff0c;Master机器 都会启动一个后台进程&＃xff0c;将数据快照保存到数据文件中(执行rdb操作) &＃xff0c;同时 Master 还会记录修改数据的所有命令并缓存在数据文件中。
3. 后台进程完成缓存操作之后&＃xff0c;Master 机器就会向 Slave 机器发送数据文件&＃xff0c;Slave 端机器将数据文件保存到硬盘上&＃xff0c;然后将其加载到内存中&＃xff0c;接着 Master 机器就会将修改数据的所有操作一并发送给 Slave 端机器。若 Slave 出现故障导致宕机&＃xff0c;则恢复正常后会自动重新连接。
4. Master机器收到 Slave 端机器的连接后&＃xff0c;将其完整的数据文件发送给 Slave 端机器&＃xff0c;如果 Mater 同时收到多个 Slave 发来的同步请求&＃xff0c;则 Master 会在后台启动一个进程以保存数据文件&＃xff0c;然后将其发送给所有的 Slave 端机器&＃xff0c;确保所有的 Slave 端机器都正常。

4.Redis 主从复制部署

环境准备&＃xff1a;

1.首先要搭建redis

2.关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

3.修改master主配置文件

-----------修改Redis 配置文件(Master节点操作) ----------
vim /etc/redis/6379.conf
bind 0.0.0.0 #70行&＃xff0c;注释掉bind项&＃xff0c;或修改为0.0.0.0,默认监听所有网卡
daemonize yes #137行&＃xff0c;开启守护进程
logfile /var/log/redis_6379.log #172行&＃xff0c;指定日志文件目录
dir /var/lib/redis/6379 #264行&＃xff0c;指定工作目录
appendonly yes #700行&＃xff0c;开启AOF持久化功能/etc/init.d/redis_6379 restart

重启

4.修改slave1和slave2主配置文件

-----------修改Redis 配置文件(Slave节点操作)------------
vim /etc/redis/6379.conf
bind 0.0.0.0 #70行&＃xff0c;修改监听地址为0.0.0.0
daemonize yes #137行&＃xff0c;开启守护进程
logfile /var/log/redis_6379.log #172行&＃xff0c;指定日志文件目录
dir /var/lib/redis/6379 #264行&＃xff0c;指定工作目录
replicaof 192.168.80.10 6379 #287行&＃xff0c;取消注释并指定要同步的Master节点IP和端口
appendonly yes #700行&＃xff0c;开启AOF持久化功能/etc/init.d/redis_6379 restart

重启

slave2一样

5.验证主从效果

-------------验证主从效果-------------
在Master节点上看日志:
tail -f /var/log/redis_6379.log在Master节点上验证从节点:
redis-cli
127.0.0.1:6379> info replication

哨兵的核心功能&＃xff1a;在主从复制的基础上&＃xff0c;哨兵引入了主节点的自动故障转移。

1.哨兵模式的原理

哨兵(sentinel)&＃xff1a;是一个分布式系统&＃xff0c;用于对主从结构中的每台服务器进行监控&＃xff0c;当出现故障时通过投票机制选择新的Master&＃xff0c;并将所有Slave 连接到新的Master。所以整个运行哨兵的集群的数量不得少于3个节点。

2.哨兵模式的作用

1. 监控&＃xff1a;哨兵会不断地检查主节点和从节点是否运作正常。
2. 自动故障转移&＃xff1a;当主节点不能正常工作时&＃xff0c;哨兵会开始自动故障转移操作&＃xff0c;它会将失效主节点的其中一个从节点升级为新的主节点&＃xff0c;并让其他从节点改为复制新的主节点。
3. 通知(提醒)&＃xff1a;哨兵可以将故障转移的结果发送给客户端。

3.哨兵模式的结构

哨兵结构由两部分组成&＃xff1a;哨兵节点和数据节点。

1. 哨兵节点&＃xff1a;哨兵系统由一个或多个哨兵节点组成&＃xff0c;哨兵节点是特殊的 redis 节点&＃xff0c;不存储数据。
2. 数据节点&＃xff1a;主节点和从节点都是数据节点

哨兵的启动依赖于主从模式&＃xff0c;所以须把主从模式安装好的情况下再去做哨兵模式&＃xff0c;所有节点上都需要部署哨兵模式&＃xff0c;哨兵模式会监控所有的Redis 工作节点是否正常&＃xff0c;当Master 出现问题的时候&＃xff0c;因为其他节点与主节点失去联系&＃xff0c;因此会投票&＃xff0c;投票过半就认为这个 Master 的确出现问题&＃xff0c;然后会通知哨兵间&＃xff0c;然后从Slaves中选取一个作为新的 Master。

需要特别注意的是&＃xff1a;客观下线是主节点才有的概念&＃xff1b;如果从节点和哨兵节点发生故障&＃xff0c;被哨兵主观下线后&＃xff0c;不会再有后续的客观下线和故障转移操作。

4.哨兵模式的部署

1.所有节点修改哨兵模式的配置文件

--------修改Redis哨兵模式的配置文件(所有节点操作) --------
vim /opt/redis-5.0.7/sentinel.conf
protected-mode no #17行&＃xff0c;关闭保护模式
port 26379 #21行&＃xff0c;Redis哨兵默认的监听端口
daemonize yes #26行&＃xff0c;指定sentinel为后台启动
logfile "/var/log/sentinel.log" #36行&＃xff0c;指定日志存放路径
dir "/var/lib/redis/6379" #65行&＃xff0c;指定数据库存放路径
sentinel monitor mymaster 192.168.80.10 6379 2 #84行&＃xff0c; 修改
指定该哨兵节点监控192.168.80.10:6379这个主节点&＃xff0c;该主节点的名称是mymaster,最后的2的含义与主节点的故障判定有关:至少需要2个哨兵节点同意&＃xff0c;才能判定主节点故障并进行故障转移
sentinel down-after-milliseconds mymaster 30000 #113行,判定服务器down掉的时间周期&＃xff0c;默认30000毫秒(30秒)
sentinel failover-timeout mymaster 180000 #146行&＃xff0c;故障节点的最大超时时间为180000 (180秒 )

2.启动哨兵模式

----------启动哨兵模式-----------------
注意&＃xff1a;先启master&＃xff0c;再启slave
cd /opt/redis-5.0.7/
redis-sentinel sentinel.conf &

3.查看哨兵信息

-----------查看哨兵信息------------------
redis-cli -p 26379 info Sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name&＃61;mymaster,status&＃61;ok,address&＃61;192.168.80.10:6379,slaves&＃61;2,sentinels&＃61;3

4.故障模拟

---------故障模拟--------------
#查看redis-server进程号&＃xff08;在Master 上进行&＃xff09;:
ps -ef | grep redis
root 16913 1 0 19:12 ? 00:00:20 /usr/local/redis/bin/redis-server 0.0.0.0:6379
root 18991 1 0 22:37 ? 00:00:02 redis-sentinel *:26379 [sentinel]
root 19141 16668 0 22:50 pts/1 00:00:00 grep --color&＃61;auto redis#杀死 Master 节点上redis-server的进程号
kill -9 57521 #Master节点上redis-server的进程号

5.验证master是否切换

#验证结果&＃xff0c;查看master是转换至从服务器
tail -f /var/log/sentinel.log#在Slave1上查看是否转换成功
redis-cli -p 26379 INFO Sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name&＃61;mymaster,status&＃61;ok,address&＃61;192.168.80.20:6379,slaves&＃61;2,sentinels&＃61;3

集群&＃xff0c;即 Redis Cluster&＃xff0c; 是Redis 3. 0开始引入的分布式存储方案。

集群由多个节点(Node) 组成&＃xff0c;Redis 的数据分布在这些节点中。

集群中的节点分为主节点和从节点&＃xff1b;只有主节点负责读写请求和集群信息的维护&＃xff1b;从节点只进行主节点数据和状态信息的复制。

1.集群模式的作用

1. 数据分区&＃xff1a;数据分区(或称数据分片) 是集群最核心的功能。
   集群将数据分散到多个节点&＃xff0c;一方面突破了 Redis 单机内存大小的限制&＃xff0c;存储容量大大增加&＃xff1b;另一方面每个主节点都可以对外提供读服务和写服务&＃xff0c;大大提高了集群的响应能力。
   Redis 单机内存大小受限问题&＃xff0c;在介绍持久化和主从复制时都有提及&＃xff1b;例如&＃xff0c;如果单机内存太大&＃xff0c;bgsave 和 bgrewriteaof的 fork 操作可能导致主进程阻塞&＃xff0c;主从环境下主机切换时可能导致从节点长时间无法提供服务&＃xff0c;全量复制阶段主节点的复制缓冲区可能溢出。
2. 高可用&＃xff1a;集群支持主从复制和主节点的自动故障转移(与哨兵类似) &＃xff1b;当任一节点发生故障时&＃xff0c;集群仍然可以对外提供服务。

2.集群欧式的数据分片

. Redis集群引入了哈希槽的概念
. Redis集群有 16384 个哈希槽( 编号0-16383)
. 集群的每个节点负责一部分哈希槽
. 每个Key 通过 CRC16 校验后对16384取余来决定放置哪个哈希槽&＃xff0c;通过这个值&＃xff0c;去找到对应的插槽所对应的节点&＃xff0c;然后直接自动跳转到这个对应的节点上进行存取操作

3.集群模式的主从复制模型

集群中具有A、B、C三个节点&＃xff0c;如果节点B失败了&＃xff0c;整个集群就会因缺少5461-10922这个范围的槽而不可以用。
为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成&＃xff0c;在节点B失败后&＃xff0c;集群选举B1位为主节点继续服务。当B和B1都失败后&＃xff0c;集群将不可用。

4.Redis 集群部署

环境准备工作&＃xff1a;

1.创建目录复制配置文件到对应的节点上

redis的集群一般需要6个节点&＃xff0c; 3主3从。方便起见&＃xff0c;这里所有节点在同一台服务器上模拟:
以端口号进行区分: 3个主节点端口号: 6001/6002/6003&＃xff0c; 对应的从节点端口号: 6004/6005/6006cd /etc/redis/
mkdir -p redis-cluster/redis600{1..6}for i in {1. .6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done

2.修改主配置文件&＃xff0c;设置开启群集功能

#其他5个文件夹的配置文件以此类推修改&＃xff0c;注意6个端口都要不一样。
cd /etc/redis/redis-cluster/redis6001
vim redis.conf
#bind 127.0.0.1 #69行&＃xff0c;注释掉bind项&＃xff0c;默认监听所有网卡
protected-mode no #88行&＃xff0c;修改&＃xff0c;关闭保护模式
port 6001 #92行&＃xff0c;修改&＃xff0c;redis监听端口
daemonize yes #136行&＃xff0c;开启守护进程&＃xff0c;以独立进程启动
appendonly yes #699行&＃xff0c;修改&＃xff0c;开启AOF持久化
cluster-enabled yes #832行&＃xff0c;取消注释&＃xff0c;开启群集功能
cluster-config-file nodes-6001.conf #840行&＃xff0c;取消注释&＃xff0c;群集名称文件设置
cluster-node-timeout 15000 #846行&＃xff0c;取消注释群集超时时间设置#可以写一个for循环将6001的文件复制给6002~6006&＃xff0c;这样就不需要全部一个一个文件进行修改了
for i in {2..6}
do
/usr/bin/cp -f /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis600$i/redis.conf
done#之后稍微修改文件即可&＃xff08;修改以下两个配置项&＃xff09;&＃xff1a;
92行&＃xff0c;修改&＃xff0c;redis监听端口
840行&＃xff0c;取消注释&＃xff0c;群集名称文件设置

3.启动redis节点

# 启动redis节点&＃xff08;方法一&＃xff09;
分别进入那六个文件夹&＃xff0c;执行命令: redis-server redis.conf&＃xff0c;来启动redis节点
cd /etc/redis/redis-cluster/redis6001
redis-server redis.conf## 使用for循环一键启动所有节点&＃xff08;方法二&＃xff09;
for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
doneps -ef | grep redis

4.启动集群

#启动集群
redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1#六个实例分为三组&＃xff0c;每组一主一从&＃xff0c;前面的做主节点&＃xff0c;后面的做从节点。下面交互的时候需要输入yes 才可以创建。
-replicas 1 #表示每个主节点有1个从节点。

5.测试集群

#测试群集
redis-cli -p 6001 -c #加-c参数&＃xff0c;节点之间就可以互相跳转
127.0.0.1:6001> cluster slots #查看节点的哈希槽编号范围
1) 1) (integer) 54612) (integer) 10922 #哈希槽编号范围3) 1) "127.0.0.1" .2) (integer) 6003 #主节点IP和端口号3) " fdca661922216dd69a 63a7c9d3c4540cd6baef44"4) 1) "127.0.0.1"2) (integer) 6004 #从节点IP和端口号3) "a2c0c32aff0f38980accd2b63d6d952812e44740"
2) 1) (integer) 02) (integer) 54603) 1) "127.0.0.1"2) (integer) 60013) "0e5873747a2e2 6bdc935bc76c2ba fb19d0a54b11"4) 1) "127.0.0.1"2) (integer) 60063) "8842ef5584a85005e135fd0ee59e5a0d67b0cf8e"
3) 1) (integer) 10923 2) (integer) 163833) 1) "127.0.0.1"2) (integer) 60023) "81 6ddaa3d14 69540b2f fbcaaf9aa867646846b30"4) 1) "127.0.0.1"2) (integer) 60053) "f847077bfe6722466e96178ae8cbb09dc8b4d5eb"127.0.0.1:6001> set name zhangsan
-> Redirected to slot [5798] located at 127.0.0.1: 6003
OK127.0.0.1:6001> cluster keyslot name #查看name键的槽编号
(integer) 5798