缓存的容量总是小于后端数据库的。随着业务系统的使用&＃xff0c;缓存数据会撑满内存空间&＃xff0c;该怎么处理呢&＃xff1f;
本节我们来学习内存淘汰机制。在Redis 4.0之前有6种内存淘汰策略&＃xff0c;之后又增加2种&＃xff0c;一共8种&＃xff0c;如下图所示&＃xff1a;
- noeviction策略&＃xff1a;内存空间达到maxmemory时&＃xff0c;不会淘汰数据&＃xff0c;有新写入时会返回错误。
- volatile-ttl策略&＃xff1a;针对设置了过期时间的键值对&＃xff0c;根据过期时间的先后进行修改&＃xff0c;越早过期的越先被删除。
- volatile-random策略&＃xff1a;在设置了过期时间的键值对中&＃xff0c;进行随机删除。
- volatile-lru策略&＃xff1a;使用LRU算法筛选设置了过期时间的键值对&＃xff0c;进行删除。
- volatile-lfu策略&＃xff1a;使用LFU算法筛选设置了过期时间的键值对&＃xff0c;进行删除。
- allkeys-random策略&＃xff1a;在所有键值对中随机选择并删除数据。
- allkeys-lru策略&＃xff1a;使用LRU算法在所有数据中进行筛选并删除数据。
- allkeys-lfu策略&＃xff1a;使用LFU算法在所有数据中进行筛选并删除数据。
对于TTL、Random比较好理解&＃xff0c;下面学习一下LRU和LFU算法。
LRU算法
LRU算法&＃xff0c;全称Least Recently Used。
其中MRU端指最近访问的数据&＃xff1b;LRU端指最早访问的数据。
被访问的数据和新插入的数据会移到MRU端&＃xff0c;空间满了后从LRU端删除。这样一来&＃xff0c;最早访问的数据会逐渐被淘汰。
但LRU算法也有其缺点&＃xff1a;
- 需要用链表管理所有缓存数据&＃xff0c;带来额外的空间开销
- 大量数据被访问&＃xff0c;就会带来很多链表移动操作&＃xff0c;降低Redis性能
而Redis对其进行简化&＃xff1a;
- Redis会记录每个数据的最近一次访问的时间戳(RedisObject中的lru字段)
- Redis第一次淘汰数据时&＃xff0c;会随机选出N个数据&＃xff0c;作为一个候选集合。
- 然后比较这N个数据的lru&＃xff0c;把lru最小的从缓存中淘汰。
当再次淘汰数据时&＃xff0c;会挑选数据放到第一次淘汰时的候选集合&＃xff0c;要求小于候选集合中最小的lru值才能加入。
其中maxmemory-samples配置项&＃xff1a;表示选出的个数N。可以通过以下命令进行设置&＃xff1a;
CONFIG SET maxmemory-samples 100
LFU算法
LFU算法是在LRU策略基础上&＃xff0c;为每个数据增加一个计数器&＃xff0c;来统计这个数据的访问次数。
使用LFU策略筛选淘汰数据时&＃xff0c;根据数据的访问次数进行筛选&＃xff0c;把访问次数最低的数据淘汰。如果两个数据访问次数相同&＃xff0c;再比较两个数据的访问时效性&＃xff0c;把更久的数据淘汰。
如何实现
LFU也是使用RedisObject的lru字段来实现。
把24bit的lru字段拆分成两部分&＃xff1a;
- ldt值&＃xff1a;lru字段的前16bit&＃xff0c;表示数据的访问时间戳&＃xff1b;
- counter值&＃xff1a;lru字段的后8bit&＃xff0c;表示数据的访问次数&＃xff1b;
当LFU策略淘汰数据时&＃xff0c;Redis在候选集合中&＃xff0c;根据lru字段的后8bit选择访问次数最小的数据进行淘汰。如果访问次数相同&＃xff0c;再根据lru字段的前16bit值大小&＃xff0c;选择更久的数据进行淘汰。
关于counter只有8bit(255)的问题
Redis并没有采用数据每被访问一次&＃xff0c;就&＃43;1的规则&＃xff0c;而是采用一个类似于随机&＃43;1的规则&＃xff1a;
double r &＃61; (double)rand()/RAND_MAX;...double p &＃61; 1.0/(baseval*server.lfu_log_factor&＃43;1);if (r 通过设置 lfu_log_factor 配置项来控制计数器值增加的速度&＃xff0c;避免counter很快到255。下图是 lfu_log_factor 设置不同值时&＃xff0c;counter的增长情况&＃xff1a;
总结- 如何设置缓存空间大小&＃xff1a;设置为总数据量的15%到30%&＃xff0c;兼顾访问性能和内存空间开销。
- 优先使用allkeys-lru策略。如果业务数据中有明显的冷热数据区分&＃xff0c;建议使用allkeys-lru策略。
- 如果业务数据访问频繁相关不大&＃xff0c;没有明显的冷热数据区分&＃xff0c;建议使用allkeys-random策略。
- 如果业务中有置顶的需要&＃xff0c;可以使用volatile-lru策略&＃xff0c;同时不给这些置顶数据设置过期时间。
作者&＃xff1a;大杂草
原文链接&＃xff1a;https://www.cnblogs.com/liang24/p/14210482.html
京公网安备 11010802041100号