redis之如何存储时间序列数据

写在前面

本文一起来看下redis如何处理时序数据。

1&＃xff1a;什么是时序数据

随着时间的推移不断产生的数据&＃xff0c;我们可以将其称之为时序数据&＃xff0c;比如设备的运行状态&＃xff0c;每隔一分钟产生一组状态指标&＃xff0c;然后存储&＃xff0c;这些标记了设备不同时刻运行状态的数据&＃xff0c;就是时序数据的一种&＃xff0c;而专门用来设计存储这些数据的数据库我们可以叫做是TSDB&＃xff08;time series database,即时序数据库),比如InfluxDB&＃xff0c;TDengine&＃xff0c;就是这一类的数据库&＃xff0c;我们本文所包含的RedisTimeSeries准确来说也属于这个范畴&＃xff0c;但是是通过redis扩展模块方式实现的。

2&＃xff1a;提出需求

假设现在有这样的需求&＃xff0c;需要收集设备的运行信息&＃xff0c;包括设备温度&＃xff0c;湿度&＃xff0c;压强等信息&＃xff0c;而这些信息每隔3分钟就会上报一次&＃xff0c;并且需要满足如下要求&＃xff1a;

1&＃xff1a;数据插入速度快
2&＃xff1a;支持点查询&＃xff0c;即查询一个点的数据
3&＃xff1a;支持范围查询&＃xff0c;即查询某时间范围内的数据
4&＃xff1a;支持聚合操作&＃xff0c;如max&＃xff0c;avg等


对于"1&＃xff1a;数据插入速度快 “&＃xff0c;正常情况下redis是满足我们的需求的&＃xff0c;对于"2&＃xff1a;支持点查询&＃xff0c;即查询一个点的数据”,我们可以使用hash存储&＃xff0c;像下图&＃xff1a;

对于"3&＃xff1a;支持范围查询&＃xff0c;即查询某时间范围内的数据"我们可以使用set来实现&＃xff0c;比如使用时间当分数&＃xff0c;然后使用ZRANGEBYSCORE 就可以实现范围查询了&＃xff0c;如下图&＃xff1a;

因此到这里&＃xff0c;我们需要将数据在hash结构和sorted set结构中各存储一份&＃xff0c;那么就需要考虑原子性的问题&＃xff0c;两边的数据如果是不一致的&＃xff0c;则会出现业务上的错误&＃xff0c;为了解决这个问题&＃xff0c;我们需要用到redis提供的简单事务支持 &＃xff0c;如下原理和实例&＃xff1a;

对于"4&＃xff1a;支持聚合操作&＃xff0c;如max&＃xff0c;avg等"&＃xff0c;我们就需要将数据读取到客户端来计算结果了&＃xff0c;而这种方式有个问题就是&＃xff0c;如果是数据过大的话会大量占用服务器的网络资源&＃xff0c;可能会影响到正常业务请求&＃xff0c;此时我们可以考虑使用RedisTimeSeries了&＃xff0c;这也正是本文我们要分析的重点&＃xff0c;RedisTimeSeries是redis的扩展模块&＃xff0c;需要获取对应的动态链接库&＃xff0c;然后加载模块到redis的功能中&＃xff0c;这里的动态链接库是redistimeseries.so&＃xff0c;可以通过如下的几种方式获取&＃xff1a;

1&＃xff1a;编译源代码
2&＃xff1a;从对应的docker镜像中获取
3&＃xff1a;下载我已经获取的


对于1,我没有成功&＃xff0c;因为github我访问不了o(╥﹏╥)o&＃xff0c;对于2操作如下&＃xff1a;

[root&＃64;localhost RedisTimeSeries]# docker pull redislabs/redistimeseries
Using default tag: latest
Trying to pull repository docker.io/redislabs/redistimeseries ...
latest: Pulling from docker.io/redislabs/redistimeseries
6ec7b7d162b2: Pull complete
...
50e2b1edfcc3: Pull complete
Digest: sha256:98e18d974673da04f009bb36e403ee797faed24560a291bf57b9e8a727e3151d
Status: Downloaded newer image for docker.io/redislabs/redistimeseries:latest
[root&＃64;localhost RedisTimeSeries]# docker run docker.io/redislabs/redistimeseries
1:C 08 Nov 2022 08:35:39.196 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
...
1:M 08 Nov 2022 08:35:39.198 * Module &＃39;timeseries&＃39; loaded from /usr/lib/redis/modules/redistimeseries.so
1:M 08 Nov 2022 08:35:39.198 * Ready to accept connections
[root&＃64;localhost ~]# docker cp heuristic_cori:/usr/lib/redis/modules/redistimeseries.so /root/study
[root&＃64;localhost ~]# cd /root/study/
[root&＃64;localhost study]# ll
total 152
...
-rwxr-xr-x. 1 root root 147576 Jul 5 2021 redistimeseries.so


对于3可以从这里 下载。动态链接库准备完毕后&＃xff0c;需要配置到redis.conf中如下&＃xff1a;

loadmodule /root/study/redistimeseries.so DUPLICATE_POLICY LAST


具体路径注意修改成自己的&＃xff0c;接下看下具体的数据操作。

• 插入数据
  插入数据前必须先通过TS.CREATE来创建集合,格式TS.CREATE key RETENTION 超时毫秒数 LABELS 标签名称 标签值 标签名称 标签值&＃xff0c;集合创建完毕后通过TS.ADD来向集合中插入数据,格式TS.ADD key 秒值 值,如下我们测试创建记录4个设备的温度信息的集合&＃xff0c;四个设备的设备ID假设分别为AAAA,BBBB,CCCC,DDDD&＃xff0c;如下首先创建集合&＃xff1a;

127.0.0.1:6379> TS.CREATE device:temperature:AAAA RETENTION 600000 LABELS device_id AAAA
OK
127.0.0.1:6379> TS.CREATE device:temperature:BBBB RETENTION 600000 LABELS device_id BBBB
OK
127.0.0.1:6379> TS.CREATE device:temperature:CCCC RETENTION 600000 LABELS device_id CCCC
OK
127.0.0.1:6379> TS.CREATE device:temperature:DDDD RETENTION 600000 LABELS device_id DDDD
OK


然后向其中分别插入一些测试数据&＃xff1a;

127.0.0.1:6379> TS.ADD device:temperature:AAAA 1667980462 66.5
(integer) 1667980462
127.0.0.1:6379> TS.ADD device:temperature:AAAA 1667980463 69.3
(integer) 1667980463
127.0.0.1:6379> TS.ADD device:temperature:BBBB 1667980468 79.3
(integer) 1667980468
127.0.0.1:6379> TS.ADD device:temperature:BBBB 1667980469 79.5
(integer) 1667980469
127.0.0.1:6379> TS.ADD device:temperature:CCCC 1667980470 79.4
(integer) 1667980470
127.0.0.1:6379> TS.ADD device:temperature:CCCC 1667980471 77.4
(integer) 1667980471
127.0.0.1:6379> TS.ADD device:temperature:DDDD 1667980477 79.4
(integer) 1667980477
127.0.0.1:6379> TS.ADD device:temperature:DDDD 1667980478 79.9
(integer) 1667980478


• 查询最新的一条数据
  命令TS:GET&＃xff0c;格式TS:GET key options&＃xff0c;会返回最新的一条数据&＃xff0c;如下&＃xff1a;

127.0.0.1:6379> TS.GET device:temperature:AAAA
1) (integer) 1667980463
2) 69.3
127.0.0.1:6379> TS.GET device:temperature:BBBB
1) (integer) 1667980469
2) 79.5


• 查询一批最新数据
  命令TS.MGET ,格式TS.MGET FILTER 基于标签的表达式,如下&＃xff1a;

127.0.0.1:6379> TS.MGET filter device_id&＃61;DDDD
1) 1) "device:temperature:DDDD"
2) (empty list or set)
3) 1) (integer) 1667980478
2) 79.9
127.0.0.1:6379> TS.MGET withlabels filter device_id&＃61;DDDD
1) 1) "device:temperature:DDDD"
2) 1) 1) "device_id"
2) "DDDD"
3) 1) (integer) 1667980478
2) 79.9


• 聚合运算
  使用命令TS.RANGE&＃xff0c;格式TS.RANGE key 开始时间 结束时间 AGGREGATION [avg|max|min|sum等] 时间窗口毫秒数&＃xff0c;其中时间窗口毫秒数意思是&＃xff0c;指定的时间范围内多长的时间区间执行指定的聚合运算&＃xff0c;如下&＃xff1a;

127.0.0.1:6379> TS.RANGE device:temperature:AAAA 1667980462 1667980463 AGGREGATION sum 180000
1) 1) (integer) 1667880000
2) 135.8


写在后面

参考文章列表&＃xff1a;

时间序列数据库 (TSDB) 。