redis生产环境如何有效查找哪些无过期时间的key

      在项目中&＃xff0c;Redis 不应该被当作传统数据库来使用&＃xff1b;储存大量没有过期时间的数据。如果储存大量无过期时间&＃xff0c;而且无效的key的话&＃xff1b;再加上 Redis 本身的过期策略没有被正确设置&＃xff0c;就会大量占用内存。这样就会导致再多的内存资源也不够用。最近在项目中&＃xff0c;就遇到这样的情况。

       情况大致是这样&＃xff0c;项目中采用 Redis 二级存储&＃xff08;自己造的一个概念&＃xff09;。大概的意思就是先使用 UUID 生成一个 uuid 作为 value&＃xff1b;这个 uuid 作为一个版本 id&＃xff1b;存到缓存 key 为 ACL_CACHE_VERSION_KEY 中&＃xff0c;即

1SET ACL_CACHE_VERSION_KEY uuid

然后在不 uuid 作为另外一个key的一部分。即 ACL_USER_ &＃43; uuid&＃xff0c;比如 uuid 的值为 26a26b84-578d-40bf-ab15-aeb188a56393&＃xff0c;则key 为ACL_USER_26a26b84-578d-40bf-ab15-aeb188a56393&＃xff0c;缓存到 key 的数据为

1HMSET ACL_USER_26a26b84-578d-40bf-ab15-aeb1 id1 12345 id2 45678

因为 ACL_USER_26a26b84-578d-40bf-ab15-aeb188a56393 的是否过期是通过程序中生成新版本的 uuid&＃xff0c;存储新的用户权限数据后&＃xff1b;在程序中删除。因为程序的不健壮&＃xff0c;导致有大量过期的版本没有及时删除。经过长年的积累导致 Redis 存在大量这些无效版本的 key。

     在测试环境中&＃xff0c;可以使用 keys 命令&＃xff0c;模糊查询到需要的 key&＃xff0c;但这个操作只适合在测试环境中使用&＃xff0c;不适合在生产环境中使用&＃xff0c;原因是 Redis 是单线程运行的&＃xff0c;当 Redis 中的数据量很大时&＃xff0c;由于此操作会遍历所有数据&＃xff0c;并将结果一次性全部返回&＃xff0c;执行时间会比较长&＃xff0c;从而导致后续操作等待&＃xff0c;直接影响系统的正常运行。解决的办法是使用scan命令&＃xff1a;

1scan cursor [MATCH pattern] [COUNT count]

• cursor&＃xff1a;表示游标&＃xff0c;从 0 开始&＃xff0c;此命令执行完后会返回一个新的 cursor值。如果cursor!&＃61;"0"&＃xff0c;则表示还有 key 未返回&＃xff0c;需要再调用 scan&＃xff0c;并使用此新的 cursor 值&＃xff0c;来获取下一批 key&＃xff1b;如果cursor&＃61;&＃61;"0"&＃xff0c;则表示遍历结束。

• pattern&＃xff1a;表示模糊匹配的样式

• count&＃xff1a;表示一批最多返回多少条记录&＃xff0c;默认为10

集群环境下使用 jedis 的代码实现

1import java.util.HashSet;2import java.util.Set;34import redis.clients.jedis.HostAndPort;6import redis.clients.jedis.JedisCluster;7import redis.clients.jedis.JedisPoolConfig;8import redis.clients.jedis.ScanParams;9import redis.clients.jedis.ScanResult;
10
11public class RedisTester {
12
13    public static JedisCluster getJedisCluster() {
14        JedisPoolConfig config &＃61; new JedisPoolConfig();
15        config &＃61; new JedisPoolConfig();
16        config.setMaxTotal(60000);// 设置最大连接数
17        config.setMaxIdle(1000); // 设置最大空闲数
18        config.setMaxWaitMillis(3000);// 设置超时时间
19        config.setTestOnBorrow(true);
20
21        // 集群结点
22        Set jedisClusterNode &＃61; new HashSet();
23        jedisClusterNode.add(new HostAndPort("yun-1.cacheyum.com", 6379));
24        jedisClusterNode.add(new HostAndPort("yun-2.cacheyum.com", 6379));
25        jedisClusterNode.add(new HostAndPort("yun-3.cacheyum.com", 6379));
26        jedisClusterNode.add(new HostAndPort("yun-4.cacheyum.com", 6379));
27        jedisClusterNode.add(new HostAndPort("yun-5.cacheyum.com", 6379));
28        jedisClusterNode.add(new HostAndPort("yun-6.cacheyum.com", 6379));
29        JedisCluster jc &＃61; new JedisCluster(jedisClusterNode, 1000, 1000, 1000, "admin321", config);
30        return jc;
31    }
32
33    public static void scanCluster() {
34        JedisCluster redis &＃61; getJedisCluster();
35        redis.getClusterNodes().values().stream().forEach(pool -> {
36            boolean done &＃61; false;
37            String cur &＃61; "0";
38            try (Jedis jedisNode &＃61; pool.getResource()) {
39                while (!done) {
40                    ScanParams scanParams &＃61; new ScanParams();
41                    scanParams.match(" ACL_USER_*");
42                    scanParams.count(10);
43                    ScanResult resp &＃61; jedisNode.scan(cur, scanParams);
44                    for (String result : resp.getResult()) {
45                        System.out.println("key: " &＃43; result);
46                    }
47                    cur &＃61; resp.getStringCursor();
48                    System.out.println("cursor: " &＃43; cur);
49                    if (cur.equals("0")) {
50                        done &＃61; true;
51                    }
52                }
53            }
54        });
55    }
56
57    public static void main(String[] args) {
58        scanCluster();
59    }
60
61}

单机情况下 jedis 代码实现

1import java.util.HashSet;2import java.util.Set;34import redis.clients.jedis.HostAndPort;5import redis.clients.jedis.Jedis;6import redis.clients.jedis.JedisPoolConfig;7import redis.clients.jedis.ScanParams;8import redis.clients.jedis.ScanResult;9
10public class RedisTester {
11
12
13    public static Jedis getAloneRedis() {
14        Jedis jedis &＃61; new Jedis("127.0.0.1", 6379);
15        System.out.println("connect successfully");
16        jedis.auth("admin321");
17        return jedis;
18    }
19
20    public void scanAlone() {
21        Jedis jedis &＃61; getAloneRedis();
22        String cursor &＃61; "0";
23        do {
24            ScanParams scanParams &＃61; new ScanParams();
25            scanParams.match("ACL_USER_*");
26            scanParams.count(10);
27            ScanResult sr &＃61; jedis.scan(cursor, scanParams);
28            List resultList &＃61; sr.getResult();
29            for (String result : resultList) {
30                System.out.println("key: " &＃43; result);
31            }
32            cursor &＃61; sr.getStringCursor();
33            System.out.println("cursor: " &＃43; cursor);
34        } while (!cursor.equals("0"));
35    }
36
37    public static void main(String[] args) {
38        getAloneRedis();
39    }
40
41}

使用以下代码就可以找到那些版本的 uuid 是无效的。找到后&＃xff0c;再调用 del 指令删除&＃xff1b;或者为了更加保险&＃xff0c;调用 expire 加个过期时间。让 key 在某个时间内失效也可以。

推荐阅读&＃xff1a;

阿里、京东、美团面试回来&＃xff0c;这些面试题你会吗&＃xff1f;

更快的Maven来了&＃xff0c;我的天&＃xff0c;速度提升了8倍&＃xff01;

美团面试&＃xff1a;如何设计一个注册中心&＃xff1f;

常见消息中间件大 PK

如出一辙。。。

欢迎关注微信公众号&＃xff1a;互联网全栈架构&＃xff0c;收取更多有价值的信息。