18Redis高级

学习目标

目标1&＃xff1a;能够说出redis中的数据删除策与略淘汰策略

目标2&＃xff1a;能够说出主从复制的概念&＃xff0c;工作流程以及场景问题及解决方案

目标3&＃xff1a;能够说出哨兵的作用以及工作原理&＃xff0c;以及如何启用哨兵

目标4&＃xff1a;能够说出集群的架构设计&＃xff0c;完成集群的搭建

目标5&＃xff1a;能够说出缓存预热&＃xff0c;雪崩&＃xff0c;击穿&＃xff0c;穿透的概念&＃xff0c;能说出redis的相关监控指标

1.数据删除与淘汰策略

1.1 过期数据

1.1.1 Redis中的数据特征

Redis是一种内存级数据库&＃xff0c;所有数据均存放在内存中&＃xff0c;内存中的数据可以通过TTL指令获取其状态

TTL返回的值有三种情况&＃xff1a;正数&＃xff0c;-1&＃xff0c;-2

• 正数&＃xff1a;代表该数据在内存中还能存活的时间
• -1&＃xff1a;永久有效的数据
• -2 &＃xff1a;已经过期的数据 或被删除的数据 或 未定义的数据

删除策略就是针对已过期数据的处理策略&＃xff0c;已过期的数据是真的就立即删除了吗&＃xff1f;其实也不是&＃xff0c;我们会有多种删除策略&＃xff0c;是分情况的&＃xff0c;在不同的场景下使用不同的删除方式会有不同效果&＃xff0c;这也正是我们要将的数据的删除策略的问题

1.1.2 时效性数据的存储结构

在Redis中&＃xff0c;如何给数据设置它的失效周期呢&＃xff1f;数据的时效在redis中如何存储呢&＃xff1f;看下图&＃xff1a;

过期数据是一块独立的存储空间&＃xff0c;Hash结构&＃xff0c;field是内存地址&＃xff0c;value是过期时间&＃xff0c;保存了所有key的过期描述&＃xff0c;在最终进行过期处理的时候&＃xff0c;对该空间的数据进行检测&＃xff0c; 当时间到期之后通过field找到内存该地址处的数据&＃xff0c;然后进行相关操作。

1.2 数据删除策略

1.2.1 数据删除策略的目标

在内存占用与CPU占用之间寻找一种平衡&＃xff0c;顾此失彼都会造成整体redis性能的下降&＃xff0c;甚至引发服务器宕机或 内存泄露

针对过期数据要进行删除的时候都有哪些删除策略呢&＃xff1f;

• 1.定时删除
• 2.惰性删除
• 3.定期删除

1.2.2 定时删除

创建一个定时器&＃xff0c;当key设置有过期时间&＃xff0c;且过期时间到达时&＃xff0c;由定时器任务立即执行对键的删除操作

• 优点&＃xff1a;节约内存&＃xff0c;到时就删除&＃xff0c;快速释放掉不必要的内存占用
• 缺点&＃xff1a;CPU压力很大&＃xff0c;无论CPU此时负载量多高&＃xff0c;均占用CPU&＃xff0c;会影响redis服务器响应时间和指令吞吐量
• 总结&＃xff1a;用处理器性能换取存储空间&＃xff08;拿时间换空间&＃xff09;

1.2.3 惰性删除

数据到达过期时间&＃xff0c;不做处理。等下次访问该数据时&＃xff0c;我们需要判断

1. 如果未过期&＃xff0c;返回数据
2. 发现已过期&＃xff0c;删除&＃xff0c;返回不存在

• 优点&＃xff1a;节约CPU性能&＃xff0c;发现必须删除的时候才删除
• 缺点&＃xff1a;内存压力很大&＃xff0c;出现长期占用内存的数据
• 总结&＃xff1a;用存储空间换取处理器性能&＃xff08;拿空间换时间&＃xff09;
  

1.2.4 定期删除

定时删除和惰性删除这两种方案都是走的极端&＃xff0c;那有没有折中方案&＃xff1f;

我们来讲redis的定期删除方案&＃xff1a;

• Redis启动服务器初始化时&＃xff0c;读取配置server.hz的值&＃xff0c;默认为10

• 每秒钟执行server.hz次serverCron()-------->databasesCron()--------->activeExpireCycle()

• **activeExpireCycle()**对每个expires[*]逐一进行检测&＃xff0c;每次执行耗时&＃xff1a;250ms/server.hz

• 对某个expires[*]检测时&＃xff0c;随机挑选W个key检测

如果key超时&＃xff0c;删除key如果一轮中删除的key的数量>W*25%&＃xff0c;循环该过程如果一轮中删除的key的数量≤W*25%&＃xff0c;检查下一个expires[*]&＃xff0c;0-15循环W取值&＃61;ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP属性值


• 参数current_db用于记录activeExpireCycle() 进入哪个expires[*] 执行

• 如果activeExpireCycle()执行时间到期&＃xff0c;下次从current_db继续向下执行

总的来说&＃xff1a;定期删除就是周期性轮询redis库中的时效性数据&＃xff0c;采用随机抽取的策略&＃xff0c;利用过期数据占比的方式控制删除频度

• 特点1&＃xff1a;CPU性能占用设置有峰值&＃xff0c;检测频度可自定义设置
• 特点2&＃xff1a;内存压力不是很大&＃xff0c;长期占用内存的冷数据会被持续清理
• 总结&＃xff1a;周期性抽查存储空间&＃xff08;随机抽查&＃xff0c;重点抽查&＃xff09;

1.2.5 删除策略对比

1&＃xff1a;定时删除&＃xff1a;

节约内存&＃xff0c;无占用,
不分时段占用CPU资源&＃xff0c;频度高,
拿时间换空间


2&＃xff1a;惰性删除&＃xff1a;

内存占用严重
延时执行&＃xff0c;CPU利用率高
拿空间换时间


3&＃xff1a;定期删除&＃xff1a;

内存定期随机清理
每秒花费固定的CPU资源维护内存
随机抽查&＃xff0c;重点抽查


1.3 数据淘汰策略&＃xff08;逐出算法&＃xff09;

1.3.1 淘汰策略概述

什么叫数据淘汰策略&＃xff1f;什么样的应用场景需要用到数据淘汰策略&＃xff1f;

当新数据进入redis时&＃xff0c;如果内存不足怎么办&＃xff1f;在执行每一个命令前&＃xff0c;会调用**freeMemoryIfNeeded()**检测内存是否充足。如果内存不满足新 加入数据的最低存储要求&＃xff0c;redis要临时删除一些数据为当前指令清理存储空间。清理数据的策略称为逐出算法。

注意&＃xff1a;逐出数据的过程不是100%能够清理出足够的可使用的内存空间&＃xff0c;如果不成功则反复执行。当对所有数据尝试完毕&＃xff0c; 如不能达到内存清理的要求&＃xff0c;将出现错误信息如下

(error) OOM command not allowed when used memory >&＃39;maxmemory&＃39;


1.3.2 策略配置

影响数据淘汰的相关配置如下&＃xff1a;

1&＃xff1a;最大可使用内存&＃xff0c;即占用物理内存的比例&＃xff0c;默认值为0&＃xff0c;表示不限制。生产环境中根据需求设定&＃xff0c;通常设置在50%以上

maxmemory ?mb


2&＃xff1a;每次选取待删除数据的个数&＃xff0c;采用随机获取数据的方式作为待检测删除数据

maxmemory-samples count


3&＃xff1a;对数据进行删除的选择策略

maxmemory-policy policy


那数据删除的策略policy到底有几种呢&＃xff1f;一共是3类8种

第一类&＃xff1a;检测易失数据&＃xff08;可能会过期的数据集server.db[i].expires &＃xff09;

volatile-lru&＃xff1a;挑选最近最少使用的数据淘汰
volatile-lfu&＃xff1a;挑选最近使用次数最少的数据淘汰
volatile-ttl&＃xff1a;挑选将要过期的数据淘汰
volatile-random&＃xff1a;任意选择数据淘汰


第二类&＃xff1a;检测全库数据&＃xff08;所有数据集server.db[i].dict &＃xff09;

allkeys-lru&＃xff1a;挑选最近最少使用的数据淘汰
allkeLyRs-lfu&＃xff1a;&＃xff1a;挑选最近使用次数最少的数据淘汰
allkeys-random&＃xff1a;任意选择数据淘汰&＃xff0c;相当于随机


第三类&＃xff1a;放弃数据驱逐

no-enviction&＃xff08;驱逐&＃xff09;&＃xff1a;禁止驱逐数据(redis4.0中默认策略)&＃xff0c;会引发OOM(Out Of Memory)


注意&＃xff1a;这些策略是配置到哪个属性上&＃xff1f;怎么配置&＃xff1f;如下所示

maxmemory-policy volatile-lru


数据淘汰策略配置依据

使用INFO命令输出监控信息&＃xff0c;查询缓存 hit 和 miss 的次数&＃xff0c;根据业务需求调优Redis配置

2.主从复制

2.1 主从复制简介

2.1.1 高可用

首先我们要理解互联网应用因为其独有的特性我们演化出的三高架构

• 高并发

  应用要提供某一业务要能支持很多客户端同时访问的能力&＃xff0c;我们称为并发&＃xff0c;高并发意思就很明确了

• 高性能

  性能带给我们最直观的感受就是&＃xff1a;速度快&＃xff0c;时间短

• 高可用

可用性&＃xff1a;一年中应用服务正常运行的时间占全年时间的百分比&＃xff0c;如下图&＃xff1a;表示了应用服务在全年宕机的时间

我们把这些时间加在一起就是全年应用服务不可用的时间&＃xff0c;然后我们可以得到应用服务全年可用的时间

4小时27分15秒&＃43;11分36秒&＃43;2分16秒&＃61;4小时41分7秒&＃61;16867秒

1年&＃61;3652460*60&＃61;31536000秒

可用性&＃61;&＃xff08;31536000-16867&＃xff09;/31536000*100%&＃61;99.9465151%

业界可用性目标5个9&＃xff0c;即99.999%&＃xff0c;即服务器年宕机时长低于315秒&＃xff0c;约5.25分钟

2.1.2 主从复制概念

知道了三高的概念之后&＃xff0c;我们想&＃xff1a;你的“Redis”是否高可用&＃xff1f;那我们要来分析单机redis的风险与问题

问题1.机器故障

• 现象&＃xff1a;硬盘故障、系统崩溃
• 本质&＃xff1a;数据丢失&＃xff0c;很可能对业务造成灾难性打击
• 结论&＃xff1a;基本上会放弃使用redis.

问题2.容量瓶颈

• 现象&＃xff1a;内存不足&＃xff0c;从16G升级到64G&＃xff0c;从64G升级到128G&＃xff0c;无限升级内存
• 本质&＃xff1a;穷&＃xff0c;硬件条件跟不上
• 结论&＃xff1a;放弃使用redis

结论&＃xff1a;

为了避免单点Redis服务器故障&＃xff0c;准备多台服务器&＃xff0c;互相连通。将数据复制多个副本保存在不同的服务器上&＃xff0c;连接在一起&＃xff0c;并保证数据是同步的。即使有其中一台服务器宕机&＃xff0c;其他服务器依然可以继续提供服务&＃xff0c;实现Redis的高可用&＃xff0c;同时实现数据冗余备份。

多台服务器连接方案&＃xff1a;

• 提供数据方&＃xff1a;master

主服务器&＃xff0c;主节点&＃xff0c;主库主客户端

• 接收数据方&＃xff1a;slave

从服务器&＃xff0c;从节点&＃xff0c;从库

从客户端

• 需要解决的问题&＃xff1a;

数据同步&＃xff08;master的数据复制到slave中&＃xff09;

这里我们可以来解释主从复制的概念&＃xff1a;

概念&＃xff1a;主从复制即将master中的数据即时、有效的复制到slave中

特征&＃xff1a;一个master可以拥有多个slave&＃xff0c;一个slave只对应一个master

职责&＃xff1a;master和slave各自的职责不一样

master:

写数据执行写操作时&＃xff0c;将出现变化的数据自动同步到slave读数据&＃xff08;可忽略&＃xff09;


slave:

读数据写数据&＃xff08;禁止&＃xff09;


2.1.3 主从复制的作用

• 读写分离&＃xff1a;master写、slave读&＃xff0c;提高服务器的读写负载能力
• 负载均衡&＃xff1a;基于主从结构&＃xff0c;配合读写分离&＃xff0c;由slave分担master负载&＃xff0c;并根据需求的变化&＃xff0c;改变slave的数 量&＃xff0c;通过多个从节点分担数据读取负载&＃xff0c;大大提高Redis服务器并发量与数据吞吐量
• 故障恢复&＃xff1a;当master出现问题时&＃xff0c;由slave提供服务&＃xff0c;实现快速的故障恢复
• 数据冗余&＃xff1a;实现数据热备份&＃xff0c;是持久化之外的一种数据冗余方式
• 高可用基石&＃xff1a;基于主从复制&＃xff0c;构建哨兵模式与集群&＃xff0c;实现Redis的高可用方案

2.2 主从复制工作流程

主从复制过程大体可以分为3个阶段

• 建立连接阶段&＃xff08;即准备阶段&＃xff09;
• 数据同步阶段
• 命令传播阶段&＃xff08;反复同步&＃xff09;

而命令的传播其实有4种&＃xff0c;分别如下&＃xff1a;

2.2.1 主从复制的工作流程&＃xff08;三个阶段&＃xff09;

2.2.1.1 阶段一&＃xff1a;建立连接

建立slave到master的连接&＃xff0c;使master能够识别slave&＃xff0c;并保存slave端口号

流程如下&＃xff1a;

1. 步骤1&＃xff1a;设置master的地址和端口&＃xff0c;保存master信息
2. 步骤2&＃xff1a;建立socket连接
3. 步骤3&＃xff1a;发送ping命令&＃xff08;定时器任务&＃xff09;
4. 步骤4&＃xff1a;身份验证
5. 步骤5&＃xff1a;发送slave端口信息

至此&＃xff0c;主从连接成功&＃xff01;

当前状态&＃xff1a;

slave&＃xff1a;保存master的地址与端口

master&＃xff1a;保存slave的端口

总体&＃xff1a;之间创建了连接的socket

master和slave互联

接下来就要通过某种方式将master和slave连接到一起

方式一&＃xff1a;客户端发送命令

slaveof masterip masterport


方式二&＃xff1a;启动服务器参数

redis-server --slaveof masterip masterport


方式三&＃xff1a;服务器配置&＃xff08;主流方式&＃xff09;

slaveof masterip masterport


slave系统信息

master_link_down_since_seconds
masterhost & masterport


master系统信息

uslave_listening_port(多个)


主从断开连接

断开slave与master的连接&＃xff0c;slave断开连接后&＃xff0c;不会删除已有数据&＃xff0c;只是不再接受master发送的数据

slaveof no one


授权访问

master客户端发送命令设置密码

requirepass password


master配置文件设置密码

config set requirepass password
config get requirepass


slave客户端发送命令设置密码

auth password


slave配置文件设置密码

masterauth password


slave启动服务器设置密码

redis-server –a password


2.2.1.2 阶段二&＃xff1a;数据同步(重点)

• 在slave初次连接master后&＃xff0c;复制master中的所有数据到slave
• 将slave的数据库状态更新成master当前的数据库状态

同步过程如下&＃xff1a;

1. 步骤1&＃xff1a;请求同步数据
2. 步骤2&＃xff1a;创建RDB同步数据
3. 步骤3&＃xff1a;恢复RDB同步数据
4. 步骤4&＃xff1a;请求部分同步数据
5. 步骤5&＃xff1a;恢复部分同步数据

至此&＃xff0c;数据同步工作完成&＃xff01;

当前状态&＃xff1a;

slave&＃xff1a;具有master端全部数据&＃xff0c;包含RDB过程接收的数据

master&＃xff1a;保存slave当前数据同步的位置

总体&＃xff1a;之间完成了数据克隆

数据同步阶段master说明

1&＃xff1a;如果master数据量巨大&＃xff0c;数据同步阶段应避开流量高峰期&＃xff0c;避免造成master阻塞&＃xff0c;影响业务正常执行

2&＃xff1a;复制缓冲区大小设定不合理&＃xff0c;会导致数据溢出。如进行全量复制周期太长&＃xff0c;进行部分复制时发现数据已经存在丢失的情况&＃xff0c;必须进行第二次全量复制&＃xff0c;致使slave陷入死循环状态。

repl-backlog-size ?mb


3. master单机内存占用主机内存的比例不应过大&＃xff0c;建议使用50%-70%的内存&＃xff0c;留下30%-50%的内存用于执 行bgsave命令和创建复制缓冲区

数据同步阶段slave说明

1. 为避免slave进行全量复制、部分复制时服务器响应阻塞或数据不同步&＃xff0c;建议关闭此期间的对外服务

slave-serve-stale-data yes|no


2. 数据同步阶段&＃xff0c;master发送给slave信息可以理解master是slave的一个客户端&＃xff0c;主动向slave发送命令

3. 多个slave同时对master请求数据同步&＃xff0c;master发送的RDB文件增多&＃xff0c;会对带宽造成巨大冲击&＃xff0c;如果master带宽不足&＃xff0c;因此数据同步需要根据业务需求&＃xff0c;适量错峰

4. slave过多时&＃xff0c;建议调整拓扑结构&＃xff0c;由一主多从结构变为树状结构&＃xff0c;中间的节点既是master&＃xff0c;也是 slave。注意使用树状结构时&＃xff0c;由于层级深度&＃xff0c;导致深度越高的slave与最顶层master间数据同步延迟 较大&＃xff0c;数据一致性变差&＃xff0c;应谨慎选择

2.2.1.3 阶段三&＃xff1a;命令传播

• 当master数据库状态被修改后&＃xff0c;导致主从服务器数据库状态不一致&＃xff0c;此时需要让主从数据同步到一致的状态&＃xff0c;同步的动作称为命令传播
• master将接收到的数据变更命令发送给slave&＃xff0c;slave接收命令后执行命令

命令传播阶段的部分复制

命令传播阶段出现了断网现象&＃xff1a;

网络闪断闪连&＃xff1a;忽略

短时间网络中断&＃xff1a;部分复制

长时间网络中断&＃xff1a;全量复制

这里我们主要来看部分复制&＃xff0c;部分复制的三个核心要素

1. 服务器的运行 id&＃xff08;run id&＃xff09;
2. 主服务器的复制积压缓冲区
3. 主从服务器的复制偏移量

• 服务器运行ID&＃xff08;runid&＃xff09;

概念&＃xff1a;服务器运行ID是每一台服务器每次运行的身份识别码&＃xff0c;一台服务器多次运行可以生成多个运行id组成&＃xff1a;运行id由40位字符组成&＃xff0c;是一个随机的十六进制字符
例如&＃xff1a;fdc9ff13b9bbaab28db42b3d50f852bb5e3fcdce作用&＃xff1a;运行id被用于在服务器间进行传输&＃xff0c;识别身份
如果想两次操作均对同一台服务器进行&＃xff0c;必须每次操作携带对应的运行id&＃xff0c;用于对方识别实现方式&＃xff1a;运行id在每台服务器启动时自动生成的&＃xff0c;master在首次连接slave时&＃xff0c;会将自己的运行ID发送给slave&＃xff0c;
slave保存此ID&＃xff0c;通过info Server命令&＃xff0c;可以查看节点的runid


• 复制缓冲区

概念&＃xff1a;复制缓冲区&＃xff0c;又名复制积压缓冲区&＃xff0c;是一个先进先出&＃xff08;FIFO&＃xff09;的队列&＃xff0c;用于存储服务器执行过的命令&＃xff0c;每次传播命令&＃xff0c;master都会将传播的命令记录下来&＃xff0c;并存储在复制缓冲区复制缓冲区默认数据存储空间大小是1M当入队元素的数量大于队列长度时&＃xff0c;最先入队的元素会被弹出&＃xff0c;而新元素会被放入队列
作用&＃xff1a;用于保存master收到的所有指令&＃xff08;仅影响数据变更的指令&＃xff0c;例如set&＃xff0c;select&＃xff09;数据来源&＃xff1a;当master接收到主客户端的指令时&＃xff0c;除了将指令执行&＃xff0c;会将该指令存储到缓冲区中


复制缓冲区内部工作原理&＃xff1a;

组成

• 偏移量

  概念&＃xff1a;一个数字&＃xff0c;描述复制缓冲区中的指令字节位置

  分类&＃xff1a;

  • master复制偏移量&＃xff1a;记录发送给所有slave的指令字节对应的位置&＃xff08;多个&＃xff09;
  • slave复制偏移量&＃xff1a;记录slave接收master发送过来的指令字节对应的位置&＃xff08;一个&＃xff09;

  作用&＃xff1a;同步信息&＃xff0c;比对master与slave的差异&＃xff0c;当slave断线后&＃xff0c;恢复数据使用

  数据来源&＃xff1a;

  • master端&＃xff1a;发送一次记录一次
  • slave端&＃xff1a;接收一次记录一次

• 字节值

工作原理

• 通过offset区分不同的slave当前数据传播的差异
• master记录已发送的信息对应的offset
• slave记录已接收的信息对应的offset

2.2.2 流程更新(全量复制/部分复制)

我们再次的总结一下主从复制的三个阶段的工作流程&＃xff1a;

2.2.3 心跳机制

什么是心跳机制&＃xff1f;

进入命令传播阶段候&＃xff0c;master与slave间需要进行信息交换&＃xff0c;使用心跳机制进行维护&＃xff0c;实现双方连接保持在线

master心跳&＃xff1a;

• 内部指令&＃xff1a;PING
• 周期&＃xff1a;由repl-ping-slave-period决定&＃xff0c;默认10秒
• 作用&＃xff1a;判断slave是否在线
• 查询&＃xff1a;INFO replication 获取slave最后一次连接时间间隔&＃xff0c;lag项维持在0或1视为正常

slave心跳任务

• 内部指令&＃xff1a;REPLCONF ACK {offset}
• 周期&＃xff1a;1秒
• 作用1&＃xff1a;汇报slave自己的复制偏移量&＃xff0c;获取最新的数据变更指令
• 作用2&＃xff1a;判断master是否在线

心跳阶段注意事项&＃xff1a;

• 当slave多数掉线&＃xff0c;或延迟过高时&＃xff0c;master为保障数据稳定性&＃xff0c;将拒绝所有信息同步

min-slaves-to-write 2
min-slaves-max-lag 8


slave数量少于2个&＃xff0c;或者所有slave的延迟都大于等于8秒时&＃xff0c;强制关闭master写功能&＃xff0c;停止数据同步

• slave数量由slave发送REPLCONF ACK命令做确认

• slave延迟由slave发送REPLCONF ACK命令做确认

至此&＃xff1a;我们可以总结出完整的主从复制流程&＃xff1a;

2.3 主从复制常见问题

2.3.1 频繁的全量复制

• 伴随着系统的运行&＃xff0c;master的数据量会越来越大&＃xff0c;一旦master重启&＃xff0c;runid将发生变化&＃xff0c;会导致全部slave的全量复制操作

内部优化调整方案&＃xff1a;

1&＃xff1a;master内部创建master_replid变量&＃xff0c;使用runid相同的策略生成&＃xff0c;长度41位&＃xff0c;并发送给所有slave

2&＃xff1a;在master关闭时执行命令shutdown save&＃xff0c;进行RDB持久化,将runid与offset保存到RDB文件中

repl-id repl-offset通过redis-check-rdb命令可以查看该信息


3&＃xff1a;master重启后加载RDB文件&＃xff0c;恢复数据&＃xff0c;重启后&＃xff0c;将RDB文件中保存的repl-id与repl-offset加载到内存中

master_repl_id&＃61;repl master_repl_offset &＃61;repl-offset通过info命令可以查看该信息


作用&＃xff1a;本机保存上次runid&＃xff0c;重启后恢复该值&＃xff0c;使所有slave认为还是之前的master

• 第二种出现频繁全量复制的问题现象&＃xff1a;网络环境不佳&＃xff0c;出现网络中断&＃xff0c;slave不提供服务

问题原因&＃xff1a;复制缓冲区过小&＃xff0c;断网后slave的offset越界&＃xff0c;触发全量复制

最终结果&＃xff1a;slave反复进行全量复制

解决方案&＃xff1a;修改复制缓冲区大小

repl-backlog-size ?mb


建议设置如下&＃xff1a;

1.测算从master到slave的重连平均时长second

2.获取master平均每秒产生写命令数据总量write_size_per_second

3.最优复制缓冲区空间 &＃61; 2 * second * write_size_per_second

2.3.2 频繁的网络中断

• 问题现象&＃xff1a;master的CPU占用过高 或 slave频繁断开连接

问题原因

slave每1秒发送REPLCONFACK命令到master当slave接到了慢查询时&＃xff08;keys * &＃xff0c;hgetall等&＃xff09;&＃xff0c;会大量占用CPU性能master每1秒调用复制定时函数replicationCron()&＃xff0c;比对slave发现长时间没有进行响应


最终结果&＃xff1a;master各种资源&＃xff08;输出缓冲区、带宽、连接等&＃xff09;被严重占用

解决方案&＃xff1a;通过设置合理的超时时间&＃xff0c;确认是否释放slave

repl-timeout seconds


该参数定义了超时时间的阈值&＃xff08;默认60秒&＃xff09;&＃xff0c;超过该值&＃xff0c;释放slave

• 问题现象&＃xff1a;slave与master连接断开

问题原因

master发送ping指令频度较低master设定超时时间较短ping指令在网络中存在丢包


解决方案&＃xff1a;提高ping指令发送的频度

repl-ping-slave-period seconds


超时时间repl-time的时间至少是ping指令频度的5到10倍&＃xff0c;否则slave很容易判定超时

2.3.3 数据不一致

问题现象&＃xff1a;多个slave获取相同数据不同步

问题原因&＃xff1a;网络信息不同步&＃xff0c;数据发送有延迟

解决方案

优化主从间的网络环境&＃xff0c;通常放置在同一个机房部署&＃xff0c;如使用阿里云等云服务器时要注意此现象监控主从节点延迟&＃xff08;通过offset&＃xff09;判断&＃xff0c;如果slave延迟过大&＃xff0c;暂时屏蔽程序对该slave的数据访问


slave-serve-stale-data yes|no


开启后仅响应info、slaveof等少数命令&＃xff08;慎用&＃xff0c;除非对数据一致性要求很高&＃xff09;

3.哨兵模式

3.1 哨兵简介

3.1.1 哨兵概念

首先我们来看一个业务场景&＃xff1a;如果redis的master宕机了&＃xff0c;此时应该怎么办&＃xff1f;

那此时我们可能需要从一堆的slave中重新选举出一个新的master&＃xff0c;那这个操作过程是什么样的呢&＃xff1f;这里面会有什么问题出现呢&＃xff1f;

要实现这些功能&＃xff0c;我们就需要redis的哨兵&＃xff0c;那哨兵是什么呢&＃xff1f;

哨兵

哨兵(sentinel) 是一个分布式系统&＃xff0c;用于对主从结构中的每台服务器进行监控&＃xff0c;当出现故障时通过投票机制选择新的master并将所有slave连接到新的master。

3.1.2 哨兵作用

哨兵的作用&＃xff1a;

• 监控&＃xff1a;监控master和slave

  不断的检查master和slave是否正常运行

  master存活检测、master与slave运行情况检测

• 通知&＃xff08;提醒&＃xff09;&＃xff1a;当被监控的服务器出现问题时&＃xff0c;向其他&＃xff08;哨兵间&＃xff0c;客户端&＃xff09;发送通知

• 自动故障转移&＃xff1a;断开master与slave连接&＃xff0c;选取一个slave作为master&＃xff0c;将其他slave连接新的master&＃xff0c;并告知客户端新的服务器地址

注意&＃xff1a;哨兵也是一台redis服务器&＃xff0c;只是不提供数据相关服务&＃xff0c;通常哨兵的数量配置为单数

3.2 启用哨兵

配置哨兵

• 配置一拖二的主从结构&＃xff08;利用之前的方式启动即可&＃xff09;

• 配置三个哨兵&＃xff08;配置相同&＃xff0c;端口不同&＃xff09;&＃xff0c;参看sentinel.conf

1&＃xff1a;设置哨兵监听的主服务器信息&＃xff0c; sentinel_number表示参与投票的哨兵数量

sentinel monitor master_name master_host master_port sentinel_number


2&＃xff1a;设置判定服务器宕机时长&＃xff0c;该设置控制是否进行主从切换

sentinel down-after-milliseconds master_name million_seconds


3&＃xff1a;设置故障切换的最大超时时

sentinel failover-timeout master_name million_seconds


4&＃xff1a;设置主从切换后&＃xff0c;同时进行数据同步的slave数量&＃xff0c;数值越大&＃xff0c;要求网络资源越高&＃xff0c;数值越小&＃xff0c;同步时间越长

sentinel parallel-syncs master_name sync_slave_number


• 启动哨兵

redis-sentinel filename


3.3 哨兵工作原理

哨兵在进行主从切换过程中经历三个阶段

• 监控
• 通知
• 故障转移

3.3.1 监控

用于同步各个节点的状态信息

• 获取各个sentinel的状态&＃xff08;是否在线&＃xff09;

• 获取master的状态

master属性prunidprole&＃xff1a;master
各个slave的详细信息


• 获取所有slave的状态&＃xff08;根据master中的slave信息&＃xff09;

slave属性prunidprole&＃xff1a;slavepmaster_host、master_portpoffset


其内部的工作原理具体如下&＃xff1a;

3.3.2 通知

sentinel在通知阶段要不断的去获取master/slave的信息&＃xff0c;然后在各个sentinel之间进行共享&＃xff0c;具体的流程如下&＃xff1a;

3.3.3 故障转移

当master宕机后sentinel是如何知晓并判断出master是真的宕机了呢&＃xff1f;我们来看具体的操作流程

当sentinel认定master下线之后&＃xff0c;此时需要决定更换master&＃xff0c;那这件事由哪个sentinel来做呢&＃xff1f;这时候sentinel之间要进行选举&＃xff0c;如下图所示&＃xff1a;

在选举的时候每一个人手里都有一票&＃xff0c;而每一个人的又都想当这个处理事故的人&＃xff0c;那怎么办&＃xff1f;大家就开始抢&＃xff0c;于是每个人都会发出一个指令&＃xff0c;在内网里边告诉大家我要当选举人&＃xff0c;比如说现在的sentinel1和sentinel4发出这个选举指令了&＃xff0c;那么sentinel2既能接到sentinel1的也能接到sentinel4的&＃xff0c;接到了他们的申请以后呢&＃xff0c;sentinel2他就会把他的一票投给其中一方&＃xff0c;投给谁呢&＃xff1f;谁先过来我投给谁&＃xff0c;假设sentinel1先过来&＃xff0c;所以这个票就给到了sentinel1。那么给过去以后呢&＃xff0c;现在sentinel1就拿到了一票&＃xff0c;按照这样的一种形式&＃xff0c;最终会有一个选举结果。对应的选举最终得票多的&＃xff0c;那自然就成为了处理事故的人。需要注意在这个过程中有可能会存在失败的现象&＃xff0c;就是一轮选举完没有选取&＃xff0c;那就会接着进行第二轮第三轮直到完成选举。

接下来就是由选举胜出的sentinel去从slave中选一个新的master出来的工作&＃xff0c;这个流程是什么样的呢&＃xff1f;

首先它有一个在服务器列表中挑选备选master的原则

• 不在线的OUT

• 响应慢的OUT

• 与原master断开时间久的OUT

• 优先原则

  ​ 优先级
  ​ offset
  ​ runid

选出新的master之后&＃xff0c;发送指令&＃xff08; sentinel &＃xff09;给其他的slave&＃xff1a;

• 向新的master发送slaveof no one

• 向其他slave发送slaveof 新masterIP端口

总结&＃xff1a;故障转移阶段

1. 发现问题&＃xff0c;主观下线与客观下线
2. 竞选负责人
3. 优选新master
4. 新master上任&＃xff0c;其他slave切换master&＃xff0c;原master作为slave故障恢复后连接

4.集群cluster

现状问题&＃xff1a;业务发展过程中遇到的峰值瓶颈

• redis提供的服务OPS可以达到10万/秒&＃xff0c;当前业务OPS已经达到10万/秒
• 内存单机容量达到256G&＃xff0c;当前业务需求内存容量1T
• 使用集群的方式可以快速解决上述问题

4.1 集群简介

集群就是使用网络将若干台计算机联通起来&＃xff0c;并提供统一的管理方式&＃xff0c;使其对外呈现单机的服务效果

集群作用&＃xff1a;

• 分散单台服务器的访问压力&＃xff0c;实现负载均衡
• 分散单台服务器的存储压力&＃xff0c;实现可扩展性
• 降低单台服务器宕机带来的业务灾难

4.2 Cluster集群结构设计

数据存储设计&＃xff1a;

1. 通过算法设计&＃xff0c;计算出key应该保存的位置

2. 将所有的存储空间计划切割成16384份&＃xff0c;每台主机保存一部分

   注意&＃xff1a;每份代表的是一个存储空间&＃xff0c;不是一个key的保存空间

3. 将key按照计算出的结果放到对应的存储空间

那redis的集群是如何增强可扩展性的呢&＃xff1f;譬如我们要增加一个集群节点

当我们查找数据时&＃xff0c;集群是如何操作的呢&＃xff1f;

• 各个数据库相互通信&＃xff0c;保存各个库中槽的编号数据
• 一次命中&＃xff0c;直接返回
• 一次未命中&＃xff0c;告知具体位置

4.3 Cluster集群结构搭建

首先要明确的几个要点&＃xff1a;

• 配置服务器&＃xff08;3主3从&＃xff09;
• 建立通信&＃xff08;Meet&＃xff09;
• 分槽&＃xff08;Slot&＃xff09;
• 搭建主从&＃xff08;master-slave&＃xff09;

Cluster配置

• 是否启用cluster&＃xff0c;加入cluster节点

cluster-enabled yes|no


• cluster配置文件名&＃xff0c;该文件属于自动生成&＃xff0c;仅用于快速查找文件并查询文件内容

cluster-config-file filename


• 节点服务响应超时时间&＃xff0c;用于判定该节点是否下线或切换为从节点

cluster-node-timeout milliseconds


• master连接的slave最小数量

cluster-migration-barrier min_slave_number


Cluster节点操作命令

• 查看集群节点信息

cluster nodes


• 更改slave指向新的master

cluster replicate master-id


• 发现一个新节点&＃xff0c;新增master

cluster meet ip:port


• 忽略一个没有solt的节点

cluster forget server_id


• 手动故障转移

cluster failover


集群操作命令&＃xff1a;

• 创建集群

redis-cli –-cluster create masterhost1:masterport1 masterhost2:masterport2 masterhost3:masterport3 [masterhostn:masterportn …] slavehost1:slaveport1 slavehost2:slaveport2 slavehost3:slaveport3 -–cluster-replicas n


注意&＃xff1a;master与slave的数量要匹配&＃xff0c;一个master对应n个slave&＃xff0c;由最后的参数n决定

master与slave的匹配顺序为第一个master与前n个slave分为一组&＃xff0c;形成主从结构

• 添加master到当前集群中&＃xff0c;连接时可以指定任意现有节点地址与端口

redis-cli --cluster add-node new-master-host:new-master-port now-host:now-port


• 添加slave

redis-cli --cluster add-node new-slave-host:new-slave-port master-host:master-port --cluster-slave --cluster-master-id masterid


• 删除节点&＃xff0c;如果删除的节点是master&＃xff0c;必须保障其中没有槽slot

redis-cli --cluster del-node del-slave-host:del-slave-port del-slave-id


• 重新分槽&＃xff0c;分槽是从具有槽的master中划分一部分给其他master&＃xff0c;过程中不创建新的槽

redis-cli --cluster reshard new-master-host:new-master:port --cluster-from src- master-id1, src-master-id2, src-master-idn --cluster-to target-master-id -- cluster-slots slots


注意&＃xff1a;将需要参与分槽的所有masterid不分先后顺序添加到参数中&＃xff0c;使用&＃xff0c;分隔

指定目标得到的槽的数量&＃xff0c;所有的槽将平均从每个来源的master处获取

• 重新分配槽&＃xff0c;从具有槽的master中分配指定数量的槽到另一个master中&＃xff0c;常用于清空指定master中的槽

redis-cli --cluster reshard src-master-host:src-master-port --cluster-from src- master-id --cluster-to target-master-id --cluster-slots slots --cluster-yes


5.企业级解决方案(重点)

5.1 缓存预热

场景&＃xff1a;“宕机”

服务器启动后迅速宕机

问题排查&＃xff1a;

1.请求数量较高&＃xff0c;大量的请求过来之后都需要去从缓存中获取数据&＃xff0c;但是缓存中又没有&＃xff0c;此时从数据库中查找数据然后将数据再存入缓存&＃xff0c;造成了短期内对redis的高强度操作从而导致问题

2.主从之间数据吞吐量较大&＃xff0c;数据同步操作频度较高

解决方案&＃xff1a;

• 前置准备工作&＃xff1a;

1.日常例行统计数据访问记录&＃xff0c;统计访问频度较高的热点数据

2.利用LRU数据删除策略&＃xff0c;构建数据留存队列例如&＃xff1a;storm与kafka配合

• 准备工作&＃xff1a;

1.将统计结果中的数据分类&＃xff0c;根据级别&＃xff0c;redis优先加载级别较高的热点数据

2.利用分布式多服务器同时进行数据读取&＃xff0c;提速数据加载过程

3.热点数据主从同时预热

• 实施&＃xff1a;

4.使用脚本程序固定触发数据预热过程

5.如果条件允许&＃xff0c;使用了CDN&＃xff08;内容分发网络&＃xff09;&＃xff0c;效果会更好

总的来说&＃xff1a;缓存预热就是系统启动前&＃xff0c;提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候&＃xff0c;先查询数据库&＃xff0c;然后再将数据缓存的问题&＃xff01;用户直接查询事先被预热的缓存数据&＃xff01;

5.2 缓存雪崩

场景&＃xff1a;数据库服务器崩溃&＃xff0c;一连串的场景会随之儿来

1.系统平稳运行过程中&＃xff0c;忽然数据库连接量激增

2.应用服务器无法及时处理请求

3.大量408&＃xff0c;500错误页面出现

4.客户反复刷新页面获取数据

5.数据库崩溃

6.应用服务器崩溃

7.重启应用服务器无效

8.Redis服务器崩溃

9.Redis集群崩溃

10.重启数据库后再次被瞬间流量放倒

问题排查&＃xff1a;

1.在一个较短的时间内&＃xff0c;缓存中较多的key集中过期

2.此周期内请求访问过期的数据&＃xff0c;redis未命中&＃xff0c;redis向数据库获取数据

3.数据库同时接收到大量的请求无法及时处理

4.Redis大量请求被积压&＃xff0c;开始出现超时现象

5.数据库流量激增&＃xff0c;数据库崩溃

6.重启后仍然面对缓存中无数据可用

7.Redis服务器资源被严重占用&＃xff0c;Redis服务器崩溃

8.Redis集群呈现崩塌&＃xff0c;集群瓦解

9.应用服务器无法及时得到数据响应请求&＃xff0c;来自客户端的请求数量越来越多&＃xff0c;应用服务器崩溃

10.应用服务器&＃xff0c;redis&＃xff0c;数据库全部重启&＃xff0c;效果不理想

总而言之就两点&＃xff1a;短时间范围内&＃xff0c;大量key集中过期

解决方案

• 思路&＃xff1a;

1.更多的页面静态化处理

2.构建多级缓存架构

​ Nginx缓存&＃43;redis缓存&＃43;ehcache缓存

3.检测Mysql严重耗时业务进行优化

​ 对数据库的瓶颈排查&＃xff1a;例如超时查询、耗时较高事务等

4.灾难预警机制

​ 监控redis服务器性能指标

​ CPU占用、CPU使用率

​ 内存容量

​ 查询平均响应时间

​ 线程数

5.限流、降级

短时间范围内牺牲一些客户体验&＃xff0c;限制一部分请求访问&＃xff0c;降低应用服务器压力&＃xff0c;待业务低速运转后再逐步放开访问

• 落地实践&＃xff1a;

1.LRU与LFU切换

2.数据有效期策略调整

​ 根据业务数据有效期进行分类错峰&＃xff0c;A类90分钟&＃xff0c;B类80分钟&＃xff0c;C类70分钟

​ 过期时间使用固定时间&＃43;随机值的形式&＃xff0c;稀释集中到期的key的数量

3.超热数据使用永久key

4.定期维护&＃xff08;自动&＃43;人工&＃xff09;

​ 对即将过期数据做访问量分析&＃xff0c;确认是否延时&＃xff0c;配合访问量统计&＃xff0c;做热点数据的延时

5.加锁&＃xff1a;慎用&＃xff01;

总的来说&＃xff1a;缓存雪崩就是瞬间过期数据量太大&＃xff0c;导致对数据库服务器造成压力。如能够有效避免过期时间集中&＃xff0c;可以有效解决雪崩现象的 出现&＃xff08;约40%&＃xff09;&＃xff0c;配合其他策略一起使用&＃xff0c;并监控服务器的运行数据&＃xff0c;根据运行记录做快速调整。

5.3 缓存击穿

场景&＃xff1a;还是数据库服务器崩溃&＃xff0c;但是跟之前的场景有点不太一样

1.系统平稳运行过程中

2.数据库连接量瞬间激增

3.Redis服务器无大量key过期

4.Redis内存平稳&＃xff0c;无波动

5.Redis服务器CPU正常

6.数据库崩溃

问题排查&＃xff1a;

1.Redis中某个key过期&＃xff0c;该key访问量巨大

2.多个数据请求从服务器直接压到Redis后&＃xff0c;均未命中

3.Redis在短时间内发起了大量对数据库中同一数据的访问

总而言之就两点&＃xff1a;单个key高热数据&＃xff0c;key过期

解决方案&＃xff1a;

1.预先设定

​ 以电商为例&＃xff0c;每个商家根据店铺等级&＃xff0c;指定若干款主打商品&＃xff0c;在购物节期间&＃xff0c;加大此类信息key的过期时长 注意&＃xff1a;购物节不仅仅指当天&＃xff0c;以及后续若干天&＃xff0c;访问峰值呈现逐渐降低的趋势

2.现场调整

​ 监控访问量&＃xff0c;对自然流量激增的数据延长过期时间或设置为永久性key

3.后台刷新数据

​ 启动定时任务&＃xff0c;高峰期来临之前&＃xff0c;刷新数据有效期&＃xff0c;确保不丢失

4.二级缓存

​ 设置不同的失效时间&＃xff0c;保障不会被同时淘汰就行

5.加锁

​ 分布式锁&＃xff0c;防止被击穿&＃xff0c;但是要注意也是性能瓶颈&＃xff0c;慎重&＃xff01;

总的来说&＃xff1a;缓存击穿就是单个高热数据过期的瞬间&＃xff0c;数据访问量较大&＃xff0c;未命中redis后&＃xff0c;发起了大量对同一数据的数据库访问&＃xff0c;导致对数 据库服务器造成压力。应对策略应该在业务数据分析与预防方面进行&＃xff0c;配合运行监控测试与即时调整策略&＃xff0c;毕竟单个key的过 期监控难度较高&＃xff0c;配合雪崩处理策略即可。

5.4 缓存穿透

场景&＃xff1a;数据库服务器又崩溃了&＃xff0c;跟之前的一样吗&＃xff1f;

1.系统平稳运行过程中

2.应用服务器流量随时间增量较大

3.Redis服务器命中率随时间逐步降低

4.Redis内存平稳&＃xff0c;内存无压力

5.Redis服务器CPU占用激增

6.数据库服务器压力激增

7.数据库崩溃

问题排查&＃xff1a;

1.Redis中大面积出现未命中

2.出现非正常URL访问

问题分析&＃xff1a;

• 获取的数据在数据库中也不存在&＃xff0c;数据库查询未得到对应数据
• Redis获取到null数据未进行持久化&＃xff0c;直接返回
• 下次此类数据到达重复上述过程
• 出现黑客攻击服务器

解决方案&＃xff1a;

1.缓存null

​ 对查询结果为null的数据进行缓存&＃xff08;长期使用&＃xff0c;定期清理&＃xff09;&＃xff0c;设定短时限&＃xff0c;例如30-60秒&＃xff0c;最高5分钟

2.白名单策略

​ 提前预热各种分类数据id对应的bitmaps&＃xff0c;id作为bitmaps的offset&＃xff0c;相当于设置了数据白名单。当加载正常数据时放行&＃xff0c;加载异常数据时直接拦截&＃xff08;效率偏低&＃xff09;

​ 使用布隆过滤器&＃xff08;有关布隆过滤器的命中问题对当前状况可以忽略&＃xff09;

2.实施监控

​ 实时监控redis命中率&＃xff08;业务正常范围时&＃xff0c;通常会有一个波动值&＃xff09;与null数据的占比

​ 非活动时段波动&＃xff1a;通常检测3-5倍&＃xff0c;超过5倍纳入重点排查对象

​ 活动时段波动&＃xff1a;通常检测10-50倍&＃xff0c;超过50倍纳入重点排查对象

​ 根据倍数不同&＃xff0c;启动不同的排查流程。然后使用黑名单进行防控&＃xff08;运营&＃xff09;

4.key加密

​ 问题出现后&＃xff0c;临时启动防灾业务key&＃xff0c;对key进行业务层传输加密服务&＃xff0c;设定校验程序&＃xff0c;过来的key校验

​ 例如每天随机分配60个加密串&＃xff0c;挑选2到3个&＃xff0c;混淆到页面数据id中&＃xff0c;发现访问key不满足规则&＃xff0c;驳回数据访问

总的来说&＃xff1a;缓存击穿是指访问了不存在的数据&＃xff0c;跳过了合法数据的redis数据缓存阶段&＃xff0c;每次访问数据库&＃xff0c;导致对数据库服务器造成压力。通常此类数据的出现量是一个较低的值&＃xff0c;当出现此类情况以毒攻毒&＃xff0c;并及时报警。应对策略应该在临时预案防范方面多做文章。

无论是黑名单还是白名单&＃xff0c;都是对整体系统的压力&＃xff0c;警报解除后尽快移除。

5.5 性能指标监控

redis中的监控指标如下&＃xff1a;

• 性能指标&＃xff1a;Performance

响应请求的平均时间:

latency


平均每秒处理请求总数

instantaneous_ops_per_sec


缓存查询命中率&＃xff08;通过查询总次数与查询得到非nil数据总次数计算而来&＃xff09;

hit_rate(calculated)

• 内存指标&＃xff1a;Memory

当前内存使用量

used_memory


内存碎片率&＃xff08;关系到是否进行碎片整理&＃xff09;

mem_fragmentation_ratio


为避免内存溢出删除的key的总数量

evicted_keys


基于阻塞操作&＃xff08;BLPOP等&＃xff09;影响的客户端数量

blocked_clients


• 基本活动指标&＃xff1a;Basic_activity

当前客户端连接总数

connected_clients


当前连接slave总数

connected_slaves


最后一次主从信息交换距现在的秒

master_last_io_seconds_ago


key的总数

keyspace


• 持久性指标&＃xff1a;Persistence

当前服务器最后一次RDB持久化的时间

rdb_last_save_time


当前服务器最后一次RDB持久化后数据变化总量

rdb_changes_since_last_save


• 错误指标&＃xff1a;Error

被拒绝连接的客户端总数&＃xff08;基于达到最大连接值的因素&＃xff09;

rejected_connections


key未命中的总次数

keyspace_misses


主从断开的秒数

master_link_down_since_seconds


要对redis的相关指标进行监控&＃xff0c;我们可以采用一些用具&＃xff1a;

• CloudInsight Redis
• Prometheus
• Redis-stat
• Redis-faina
• RedisLive
• zabbix

也有一些命令工具&＃xff1a;

• benchmark

测试当前服务器的并发性能

redis-benchmark [-h ] [-p ] [-c ] [-n [-k ]


范例1&＃xff1a;50个连接&＃xff0c;10000次请求对应的性能

redis-benchmark


范例2&＃xff1a;100个连接&＃xff0c;5000次请求对应的性能

redis-benchmark -c 100 -n 5000


• redis-cli

  ​ monitor&＃xff1a;启动服务器调试信息

monitor


slowlog&＃xff1a;慢日志


获取慢查询日志

slowlog [operator]


​ get &＃xff1a;获取慢查询日志信息

​ len &＃xff1a;获取慢查询日志条目数

​ reset &＃xff1a;重置慢查询日志

相关配置

slowlog-log-slower-than 1000 #设置慢查询的时间下线&＃xff0c;单位&＃xff1a;微妙
slowlog-max-len 100 #设置慢查询命令对应的日志显示长度&＃xff0c;单位&＃xff1a;命令数