Apachekylin学习笔记

1. 表&＃xff08;Table &＃xff09;&＃xff1a;表定义在hive中&＃xff0c;是数据立方体&＃xff08;Data cube&＃xff09;的数据源&＃xff0c;在build cube 之前&＃xff0c;必须同步在 kylin中。
2. 模型&＃xff08;model&＃xff09;:模型描述了一个星型模式的数据结构&＃xff0c;它定义了一个事实表&＃xff08;Fact Table&＃xff1a; Wiki:Fact_table&＃xff09;和多个查找表&＃xff08;Lookup Table&＃xff1a;Wiki:Lookup_table&＃xff09;的连接和过滤关系。
3. 立方体&＃xff08;Cube&＃xff09;&＃xff1a;它定义了使用的模型、模型中的表的维度&＃xff08;dimension:Wiki:dimension&＃xff09;、度量&＃xff08;measure:Wiki:measure ,一般指聚合函数&＃xff0c;如&＃xff1a;sum、count、average等&＃xff09;、如何对段分区&＃xff08; segments partition&＃xff09;、合并段&＃xff08;segments auto-merge&＃xff09;等的规则。
4. 立方体段&＃xff08;Cube Segment&＃xff09;&＃xff1a;它是立方体构建&＃xff08;build&＃xff09;后的数据载体&＃xff0c;一个 segment 映射hbase中的一张表&＃xff0c;立方体实例构建&＃xff08;build&＃xff09;后&＃xff0c;会产生一个新的segment&＃xff0c;一旦某个已经构建的立方体的原始数据发生变化&＃xff0c;只需刷新&＃xff08;fresh&＃xff09;变化的时间段所关联的segment即可。
   
5. 作业&＃xff08;Job&＃xff09;&＃xff1a;对立方体实例发出构建&＃xff08;build&＃xff09;请求后&＃xff0c;会产生一个作业。该作业记录了立方体实例build时的每一步任务信息。作业的状态信息反映构建立方体实例的结果信息。如作业执行的状态信息为RUNNING 时&＃xff0c;表明立方体实例正在被构建&＃xff1b;若作业状态信息为FINISHED &＃xff0c;表明立方体实例构建成功&＃xff1b;若作业状态信息为ERROR &＃xff0c;表明立方体实例构建失败&＃xff01;作业的所有状态如下&＃xff1a;

• NEW - This denotes one job has been just created.
• PENDING - This denotes one job is paused by job scheduler and waiting for resources.
• RUNNING - This denotes one job is running in progress.
• FINISHED - This denotes one job is successfully finished.
• ERROR - This denotes one job is aborted with errors.
• DISCARDED - This denotes one job is cancelled by end users.

二、Apache kylin的工作机制

Apache kylin 能提供低延迟&＃xff08;sub-second latency&＃xff09;的秘诀就是预计算&＃xff0c;即针对一个星型拓扑结构的数据立方体&＃xff0c;预计算多个维度组合的度量&＃xff0c;然后将结果保存在hbase中&＃xff0c;对外暴露JDBC、ODBC、Rest API的查询接口&＃xff0c;即可实现实时查询。

数据立方体一般由Hive中的一个事实表,多个查找表组成。预计算的过程在kylin中就是 Cube 的build过程&＃xff0c;如下图&＃xff1a;

一个完整的数据立方体&＃xff0c;由N-dimension立方体&＃xff0c;N-1 dimension立方体&＃xff0c;N-2维立方体&＃xff0c;0 dimension立方体这样的层关系组成&＃xff0c;除了N-dimension立方体&＃xff0c;基于原数据计算&＃xff0c;其他层的立方体可基于其父层的立方体计算。所以该算法的核心是N次顺序的MapReduce计算。

在MapReduce模型中&＃xff0c;key由维度的组合的构成&＃xff0c;value由度量的组合构成&＃xff0c;当一个Map读到一个key-value对时&＃xff0c;它会计算所有的子立方体&＃xff08;child cuboid&＃xff09;&＃xff0c;在每个子立方体中&＃xff0c;Map从key中移除一个维度&＃xff0c;将新key和value输出到reducer中。直到当所有层计算完毕&＃xff0c;才完成数据立方体的计算。过程如下图&＃xff1a;

在数据立方体计算完毕后&＃xff0c;有一个任务&＃xff08;Convert Cuboid Data to HFile&＃xff09;&＃xff0c;其职责是将reduce输出的运算结果&＃xff08;Cuboid Data&＃xff09;转化成Hbase中的存储载体&＃xff08;HFile&＃xff09;&＃xff0c;最终将HFile 加载到Hbase表中便于查询。其中表的rowkey由维度组合而成&＃xff0c;维度组合对应的度量值构成了column family&＃xff0c;为了查询减少存储空间&＃xff0c;会对RowKey和column family的值进行编码&＃xff0c;默认编码是Snappy。

整个数据立方体的构建流程如下&＃xff1a;

三、Apache kylin的架构及核心组件

Apache kylin 架构如下&＃xff1a;

核心组件&＃xff1a;

• 数据立方体构建引擎&＃xff08;Cube Build Engine&＃xff09;&＃xff1a;当前底层数据计算引擎支持MapReduce1、MapReduce2、Spark等。
• Rest Server&＃xff1a;当前kylin采用的rest API、JDBC、ODBC接口提供web服务。
• 查询引擎&＃xff08;Query Engine&＃xff09;&＃xff1a;Rest Server接收查询请求后&＃xff0c;解析sql语句&＃xff0c;生成执行计划&＃xff0c;然后转发查询请求到Hbase中&＃xff0c;最后将结构返回给 Rest Server。