Druid存储格式

Druid 的数据表是由一组分布在集群中不同的historical节点上和实时节点上的segment组成&＃xff0c;一个segment包含了一定时间段内的数据&＃xff0c;所有的读写操作都发生在segment上&＃xff0c;它是Druid操作的最小单元。Real-time节点在生成segment时&＃xff0c;segment的名称由数据源&＃xff08;表&＃xff09;、起始时间、结束时间、版本号四部分组成&＃xff0c;作为segment的唯一标识。版本号越大&＃xff0c;数据越新&＃xff08;疑问&＃xff1a;版本号是怎样改变的&＃xff1f;&＃xff09;。在查询时&＃xff0c;会加载相应时间段内的最新版本的segment。

Segment采用的是类LSM树结构的列式存储&＃xff0c;类LSM树结构和LSM树结构不同的是省去了WAL&＃xff08;预写日志&＃xff09;部分&＃xff08;疑问&＃xff1a;不会有数据丢失吗?&＃xff09;&＃xff0c;通常会被上传到HDFS或S3上做深存储。相比行式存储&＃xff0c;列式存储可以更加高效的使用CPU&＃xff0c;因为加载时&＃xff0c;按需取数据&＃xff0c;只加载需要的列即可&＃xff0c;不必把行中部分不相关的数据都加载进来&＃xff1b;另外&＃xff0c;列出存储也可以针对不同列字段类型采用不同的压缩算法&＃xff0c;更加节省内存和磁盘空间。