clickhouse之bitmap

bitmap&＃xff08;位图&＃xff09;是一种利用比特位来进行数据存储的结构&＃xff0c;简单举例&＃xff1a;存储1-8的整数&＃xff0c;如果我们用整数数组的话&＃xff0c;至少需要4&＃xff08;1个int型整数按4字节&＃xff09;*8&＃61;32个字节的存储空间&＃xff0c;但是如果用bitmap的话&＃xff0c;我们只需要1个字节&＃xff08;8bit&＃xff09;&＃xff0c;从低位到高位&＃xff0c;每一位是否为1即可表示该数是否存在。显然&＃xff0c;使用bitmap能够显著节省用户存储空间&＃xff0c;但也有一些局限性&＃xff1a;

• 存储的数据不能过于稀疏&＃xff0c;比如只有1和10000两个数&＃xff0c;那也需要10000/8&＃61;1250个字节
• 数据中不能出现重复&＃xff0c;因为每一位只有0和1&＃xff0c;只能表示该数存在或不存在

正因为上述特性&＃xff0c;经常有一些面试中会考到bitmap的使用&＃xff1a;

• 给你40亿个不重复的整数&＃xff0c;判断其中是否存在某个给定的整数&＃xff0c;但是只有1G的内存
• 10亿个整数中出现重复的整数个数
• 10亿个数中只有1位为空&＃xff0c;找出为空的那个数&＃xff1f;内存只有几十兆的情况下怎么处理&＃xff1f;

…诸如此类的各种变体&＃xff0c;总有一款难住你&＃xff0c;哈哈~~

和bitmap原理类似的还有更复杂一点儿的布隆过滤器&＃xff08;BloomFilter&＃xff09;。

bitmap在clickhouse中是一种AggregateFunction的数据类型&＃xff0c;其构造方法有两种&＃xff1a;

1. 通过聚合函数groupBitmap来构造
2. 通过对整形数组进行转换得到

2.1 bitmap与array类型的转换

• bitmapBuild&＃xff1a;将array转换为bitmap

select bitmapBuild([1,2,3,4,5]) as res, toTypeName(res);


• bitmapToArray&＃xff1a;将bitmap转为array

select bitmapToArray(bitmapBuild([1,2,3,4,5])) as res, toTypeName(res);


2.2 bitmap获取属性的函数

clickhouse提供了一系列函数来获取bitmap的属性&＃xff0c;比如最大值、最小值、基数等。

2.3 bitmap集合运算

clickhouse同样提供了一系列函数来进行bitmap之间的集合运算&＃xff0c;包括并集、交集、差集、补集等。
具体使用可查阅官方文档&＃xff1a;bitmap函数

3.1 用户画像

• 存储结构&＃xff1a;按标签&＃43;用户ID列表的方式来进行存储&＃xff0c;其中用户ID列表使用bitmap类型来节省存储空间。
• 使用方法&＃xff1a;通过标签可以快速找到相关人群进行推荐&＃xff1b;对于多个标签查找共性用户的需求&＃xff0c;可以通过bitmap集合运算函数来快速得到。