【Redis学习笔记】20180320压缩列表概念

作者&＃xff1a;李乐 顺风车运营研发团队
压缩列表是列表键和哈希键的底层实现之一。

当一个列表键只包含少量列表项&＃xff0c;并且每个列表项要么是小整数&＃xff0c;要么是长度较短的字符串时&＃xff0c;Redis就会使用压缩列表来作为列表键的底层实现&＃xff1b;

当一个哈希键只包含少量键值对&＃xff0c;并且每个键值对的键和值要么就是小整数值要么就是长度较短的字符串时&＃xff0c;Redis就会使用压缩列表来作为哈希键的底层实现&＃xff1b;

1. 压缩列表结构&＃xff08;ziplist&＃xff09;

压缩列表是为了节约内存而开发的&＃xff0c;其就是一个字节数组&＃xff08;char *&＃xff09;&＃xff1b;

而一个压缩列表可以包含任意多个节点&＃xff08;entry&＃xff09;&＃xff0c;每个节点可以保存一个字节数组或一个整数&＃xff1b;

zlbytes&＃xff1a;4字节&＃xff0c;压缩列表的长度&＃xff1b;因此压缩列表最大(2^32)-1字节&＃xff1b;

zltail&＃xff1a;4字节&＃xff0c;尾节点偏移量&＃xff1b;

zllen&＃xff1a;2字节&＃xff0c;压缩列表节点数目&＃xff0c;其最大只能表示65535个节点&＃xff1b;当压缩列表节点数目超过65535后&＃xff0c;此字段无就没有任何意义了&＃xff1b;

entryX&＃xff1a;节点

zlend&＃xff1a;压缩列表结尾标志&＃xff0c;固定为0xFF&＃xff1b;

假设char * zl指向压缩列表首地址&＃xff1b;

注意&＃xff1a;zl指针的类型为char*&＃xff0c;因此通过zl获取相应字段时&＃xff0c;首先需要强制类型转换&＃xff1b;

zl指向zlbytes字段&＃xff1b;((uint32_t) zl)取出zlbytes字段内容&＃xff1b;

zl&＃43;4指向zltail字段&＃xff1b;((uint32_t) (zl&＃43;4))取出zltail字段内容&＃xff1b;

((uint32_t) (zl&＃43;4)) &＃43; zl &＃xff08;就是zl&＃43;zltail&＃xff09;指向最后一个节点首地址

zl&＃43;8指向zllen字段&＃xff1b;((uint16_t) (zl&＃43;8))取出zllen字段内容&＃xff1b;

zl &＃43; ((uint32_t) zl) &＃xff08;就是zl&＃43;zlbytes&＃xff09;指向zlend字段

1. 节点&＃xff08;entry&＃xff09;结构

了解了压缩列表结构&＃xff0c;我们可以很容易获得压缩列表空间大小&＃xff0c;压缩列表拥有节点数目&＃xff0c;压缩列表开始和结束位置指针&＃xff1b;

那么如何遍历压缩列表的所有节点呢&＃xff1f;

对于每一个entry节点&＃xff0c;存储的可能是字节数组或整数值&＃xff1b;

假设我们知道节点首地址指针&＃xff0c;我们如何知道存储的是什么类型&＃xff1f;对于字节数组&＃xff0c;我们又如何知道字节数组的长度&＃xff1f;

redis是对每一个entry是这样编码的&＃xff1a;

2.1 首先回答上面一个问题&＃xff1a;压缩列表如何遍历所有节点&＃xff1f;

答案就在previous_entry_length字段&＃xff0c;其表示前一个节点的长度&＃xff08;单位字节&＃xff09;&＃xff1b;

假如我知道当前节点的首地址为p&＃xff0c;那么&＃xff08;p-previous_entry_length&＃xff09;就是前一个节点的首地址&＃xff1b;通过这种方式实现了从尾到头的遍历&＃xff1b;

previous_entry_length字段为1个或者5个字段&＃xff08;为了节约内存&＃xff09;&＃xff1b;

当前一个节点的长度小于254字节时&＃xff0c;previous_entry_length字段用一个字段表示&＃xff1b;

当前一个节点的长度大于等于254时&＃xff0c;previous_entry_length字段用5个字节来表示&＃xff1b;而这时候previous_entry_length的第一个字节是固定的标志0xFE&＃xff0c;后面4个字节才真正表示前一个节点的长度&＃xff1b;

假设当前节点首地址为p&＃xff1b;p[0]为第一个字节内容&＃xff1b;

当p[0]<0xFE时&＃xff0c;说明previous_entry_length字段只占一个字节&＃xff0c;p[0]就是前一个节点的长度&＃xff1b;

当p[0]&＃61;0xFE时&＃xff0c;说明previous_entry_length字段占5个字节&＃xff0c;p[1]~p[4]表示前一个节点的长度&＃xff1b;而p&＃43;5则只encoding字段首地址&＃xff1b;

2.2 下面回答第二个问题&＃xff1a;

如何区分当前节点存储数据是什么类型&＃xff0c;字节数组还是整数&＃xff1f;字节数组长度&＃xff1f;

最简单的方法&＃xff1a;使用1个比特表示数据是字节数组还是整数&＃xff0c;假如是字节数组&＃xff0c;再用7&＃43;4*8表示字节数组的长度&＃xff1b;

但是&＃xff0c;redis为了节约内存并没有这么做&＃xff1b;&＃xff08;减少encoding字段长度&＃xff09;

字节数组分为三种&＃xff0c;最大长度63字节&＃xff0c;最大长度(2^14)-1&＃xff0c;最大长度(2^32)-1&＃xff1b;

整数分为6种&＃xff1a;8比特整数&＃xff0c;24比特整数&＃xff0c;int16&＃xff0c;int32&＃xff0c;int64&＃xff0c;0~12立即数&＃xff1b;

而具体的数据内容存储在content字段&＃xff1b;

我们发现encoding第一个字节的前2比特可以区分是字节数组&＃xff08;以及字节数组类型&＃xff09;还是整数&＃xff1b;

是整数时&＃xff0c;第3、4比特可以区分整数的类型&＃xff1b;当content的前4个比特都是1时&＃xff0c;后4个比特才能区分整数类型&＃xff1b;

假设encoding字段首地址为p&＃xff1b;p[0]为第一个字节内容&＃xff1b;

p[0] & 0xc0 可以获得前两个比特bit[1:2]&＃xff0c;当其不等于11B时&＃xff0c;说明content是字节数组&＃xff1b;再根据其是00B、01B还是10B可以知道字节数组类型&＃xff0c;从而取出字节数组实际长度&＃xff1b;

整数类型的判断同理可得&＃xff1b;

1. 预备知识

2.1 大端小端

redis在存取压缩列表字段&＃xff08;如zlbytes、zltail时&＃xff0c;会进行大小端转换&＃xff1b;如果是小端不做处理&＃xff0c;如果是大端&＃xff0c;会转换为小端字节顺序&＃xff09;&＃xff1b;

大小端转换其实就是交换字节顺序&＃xff1b;

void memrev32(void *p) {unsigned char *x &＃61; p, t;t &＃61; x[0];x[0] &＃61; x[3];x[3] &＃61; t;t &＃61; x[1];x[1] &＃61; x[2];x[2] &＃61; t;
}

问题&＃xff1a;为什么在存取压缩列表字段时需要做大小端转换&＃xff1f;

解答&＃xff1a;redis集群&＃xff0c;各机器的CPU架构可能不相同&＃xff1b;有些机器是大端&＃xff0c;有些机器是小端&＃xff1b;假如不进行大小端转换&＃xff0c;当压缩列表数据在集群中机器间传递时&＃xff0c;不同机器解析情况会不相同。

1. 连锁更新

如图&＃xff0c;位置p处的节点为X&＃xff1b;其previous_entry_length字段为1个字节&＃xff0c;0x80&＃xff0c;表明前一个节点长度为128&＃xff1b;假设位置p之后的所有节点的长度为253字节&＃xff1b;

现在往位置p新添加一个节点&＃xff0c;其长度为1024字节&＃xff1b;显然节点X的previous_entry_length需要改变为5个字节&＃xff0c;那么此时节点X的长度为257字节&＃xff1b;

节点X的长度从253改变为257字节&＃xff1b;那么节点X的后驱节点的previous_entry_length也需要从一个字节改变为5个字节&＃xff1b;

以此类推&＃xff1b;因为在位置P新添加了一个节点&＃xff0c;可能导致P后面得所有节点都需要依次更新previous_entry_length字段长度&＃xff1b;

这就是连锁更新&＃xff1b;他会导致N次内存分配&＃xff0c;效率很低&＃xff1b;

但是需要指出的是&＃xff0c;这种情况出现的概率是很低的&＃xff1b;而且一般情况下压缩列表存储的节点数目比较少&＃xff1b;因此redis并没有对这种情况做特殊处理&＃xff1b;