Redis原理篇（四）内存回收

Redis之所以性能强&＃xff0c;最主要原因是基于内存存储。但是单节点的Redis其内存大小不宜过大&＃xff0c;会影响持久化或主从同步性能。

可以通过配置文件来设置最大内存

# maxmemory
maxmemory 1gb


一、过期策略

可以通过expire命令给Redis的key设置TTL

思考&＃xff1a;
1、Redis是如何知道一个key是否过期&＃xff1f;
答&＃xff1a;利用两个Dict分别记录key-value对&＃xff0c;及key-ttl对。从key-value中获取到key&＃xff0c;再到key-ttl对中查询。

2、是不是TTL到期就立即删除了&＃xff1f;
答&＃xff1a;惰性删除和周期删除

1、DB结构

Redis本身是一个典型的key-value内存存储数据库&＃xff0c;因此所有的key、value都保存在Dict结构中。有两个Dict&＃xff1a;一个记录key-value&＃xff1b;另一个记录key-TTL

2、惰性删除

&＃xff08;1&＃xff09;定义

不是在TTL到期后就立刻删除&＃xff0c;而是在访问一个key的时候&＃xff0c;检查该key的存活时间&＃xff0c;如果已经过期才执行删除。

// 查找一个key执行写操作
robj *lookupKeywritewithFlags(redisDb *db, robj *key, int flags) {
// 检查key是否过期
expireIfNeeded(db , key);
return lookupkey(db , key, flags);
// 查找一个key执行读操作
robj *lookupKeyReadwithFlags(redisDb *db, robj *key&＃xff0c; int flags) {
robi *val;
// 检查key是否过期
if (expireIfNeeded(db,key) &＃61;&＃61; 1) {
// ...略
}
return lookupKey(db ,key,flags);
}
int expireIfNeeded(redisDb *db, robj *key) {
// 判断是否过期&＃xff0c;如果未过期直接结束并返回0
if (!keyIsExpired(db,key)) {
return 0;
}
// 删除过期key
deleteExpiredKeyAndPropagate(db , key);
return 1;
}


3、周期删除

&＃xff08;1&＃xff09;定义

通过一个定时任务&＃xff0c;周期性的抽样部分过期的key&＃xff0c;然后执行删除。执行周期有两种&＃xff1a;

• Redis会设置一个定时任务serverCron()&＃xff0c;按照server.hz的频率来执行过期key清理&＃xff0c;模式为SLOW
• Redis的每个事件循环前会调用beforesleep0)函数&＃xff0c;执行过期key清理&＃xff0c;模式为FAST

SLOW源码

//server .c
void initServer(void){
// 创建定时器&＃xff0c;关联回调函数serverCron&＃xff0c;处理周期取决于server,hz&＃xff0c;默认10
aeCreateTimeEvent(server.el&＃xff0c;1&＃xff0c;serverCron&＃xff0c;NULL&＃xff0c;NULL)
}
//server.c
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData){
// 更新Lruclock到当前时间&＃xff0c;为后期的LRU和LFU做准备
unsigned int lruclock &＃61; getLRUClock();
atomicSet(server.lruclock,lruclock);
// 执行database的数据清理&＃xff0c;例如过期key处理
databasesCron();
return 1000/server.hz:
}
void databasesCron(void) {
// 尝试清理部分过期key&＃xff0c;清理模默认为SLOW
activeExpireCycle(ACTIVE_EXPIRE_CYCLE_SLOW);
}


FAST源码

void beforeSleep(struct aeEventLoop*eventLoop){
// 尝试清理部分过期key&＃xff0c;清理模式默认为FAST
activeExpireCycle(ACTIVE_EXPIRE_CYCLE_FAST);
}
void aeMain(aeEventLoop *eventLoop) {
eventLoop->stop &＃61; 0;
while (!eventLoop->stop) {
// beforesleep() --> Fast模式清理
// n &＃61; aeApiPoll()
//如果n > 0&＃xff0c;FD就绪&＃xff0c;处理IO事件
//如果到了执行时间&＃xff0c;则调用serverCron() --> SLOW模式清理


&＃xff08;2&＃xff09;模式规则

SLOw模式规则:

1. 执行频率受server.hz影响&＃xff0c;默认为10&＃xff0c;即每秒执行10次&＃xff0c;每个执行周期100ms。
2. 执行清理耗时不超过一次执行周期的25%.
3. 逐个遍历db&＃xff0c;逐个遍历db中的bucket&＃xff0c;抽取20个key判断是否过期
4. 如果没达到时间上限(25ms)并且过期key比例大于10%&＃xff0c;再进行一次抽样&＃xff0c;否则结束

FAST模式规则(过期key比例小于10%不执行):

1. 执行频率受beforeSleep()调用频率影响&＃xff0c;但两次FAST模式间隔不低于2ms
2. 执行清理耗时不超过1ms
3. 逐个遍历db&＃xff0c;逐个遍历db中的bucket&＃xff0c;抽取20个key判断是否过期
4. 如果没达到时间上限(1ms)并且过期key比例大于10%&＃xff0c;再进行一次抽样&＃xff0c;否则结束

4、总结

1、RedisKey的TTL记录方式&＃xff1a;
在RedisDB中通过一个Dict记录每个Key的TTL时间
2、过期key的删除策略:

1. 惰性删除:每次查找key时判断是否过期&＃xff0c;如果过期则删除
2. 周期删除:定期抽样部分key&＃xff0c;判断是否过期&＃xff0c;如果过期则删除。

3、周期删除的两种模式&＃xff1a;

1. SLOW模式执行频率默认为10&＃xff0c;每次不超过25ms
2. FAST模式执行频率不固定&＃xff0c;但两次间隔不低于2ms&＃xff0c;每次耗时不超过1ms

二、内存淘汰策略

1、定义

内存淘汰&＃xff1a;就是当Redis内存使用达到设置的阈值时&＃xff0c;Redis主动挑选部分key删除以释放更多内存的流程。

&＃xff08;1&＃xff09;什么时候检查内存超出阈值&＃xff1f;

答&＃xff1a;任何Redis客户端命令执行时&＃xff0c;都去检查内存&＃xff0c;尝试做内存淘汰。

&＃xff08;2&＃xff09;如何挑选key

Redis支持8种不同策略来选择要删除的key&＃xff1a;

比较容易混淆的有两个:

• LRU(Least Recently Used)&＃xff1a;最少最近使用。用当前时间减去最后一次访问时间&＃xff0c;这个值越大则淘汰优先级越高。
• LFU (Least Frequently Used)&＃xff1a;最少频率使用。会统计每个key的访问频率&＃xff0c;值越小淘汰优先级越高。

备注&＃xff1a;
LFU的访问次数之所以叫做逻辑访问次数&＃xff0c;是因为并不是每次key被访问都计数&＃xff0c;而是通过运算:
1、生成0~1之间的随机数R
2、计算1/(旧次数*lfu_log_factor&＃43; 1)&＃xff0c;记录为P&＃xff0c;lfu_log_factor默认为10
3、如果R4、访问次数会随时间衰减&＃xff0c;距离上一次访问时间每隔lfu_decay_time 分钟(默认1)&＃xff0c;计数器-1


修改策略

# conf配置文件
maxmemory-policy noeviction


2、淘汰策略流程