Kylin自动合并机制

A1 why

增量构建的Cube每天都可能有新的增量。日益剧增&＃xff0c;Cube可能会包含上百个Segment&＃xff0c;查询性能会受到影响。

A2 解决

合并segment&＃xff1a;可手动&＃xff0c;可自动。

在Web GUI中选中需要进行Segments合并的Cube&＃xff0c;单击
Action→Merge&＃xff0c;然后在对话框中选中需要合并的Segment&＃xff0c;可以同时合并多个Segment&＃xff0c;但是这些Segment必须是连续的。

A3 自动合并

A4 数据持续更新

数仓里面的数据拿取的是数据库中某个时间的状态数据&＃xff0c;不可能像Mysql中数据一样频繁的更新。

因为数据拉取的过程是有延时性的。T&＃43;1业务中&＃xff0c;每日12点之后开始计算前一天的数据。

然后数据已经随着时间流式计算了。但是数据库中同步的数据其实是错误或者还需要修改的数据。

那么从kylin的角度来看&＃xff0c;把对应日期的数据重新同步后重新计算。

对应日增情况&＃xff0c;就是根据时间容忍度N&＃xff0c;刷新前N个segment的数据&＃xff0c;build新增的segment数据&＃xff0c;如果设置了自动合并机制&＃xff0c;或者不小心进行了不合适的合并情况下&＃xff0c;可能造成大量数据的重复计算。

当最新数据进来时&＃xff0c;刷新过去7天的数据&＃xff0c;但是&＃xff0c;这数据中有有一部分在之前的segment(94)中。有大量数据重复计算了。

因为segment是一个整体&＃xff0c;无法拆分。所以只能全部更新达到数据持续更新的效果。

缺点&＃xff1a;

• 日增数据建立segment。1天一个&＃xff0c;在不合适的合并条件下&＃xff0c;可能产生比较差的执行效率。

解决&＃xff1a;

• 将时间范围放大&＃xff0c;将segment的范围调整成N或者N&＃43;1, 以7天为例&＃xff0c;持续更新7天的数据。

手动刷新&＃xff1a;refresh

问题&＃xff1a;

• 即使将时间范围放大&＃xff0c;但是到达一定的临界点也会导致要refresh很多数据&＃xff0c;使执行效率变差&＃xff0c;这时可以采用手动合并。

A5 参考文献

kylin权威指南