一起探讨一下Kylin的工作原理

大家好,欢迎来到本篇博客,博主是一名刚入大数据行业的小白,利用空闲的时间来分享自己所学的知识,帮助和博主一样刚处于起步阶段的同学,水平不高,若有什么错误和纰漏之处恳请大佬不吝赐教,目前个人博客只有CSDN:https://zhenyu.blog.csdn.net/,感谢大家的支持,谢谢
送给大家一句话:今日事,今日毕

本篇博客主要讲解:Kylin的工作原理

Kylin的工作原理

Apache Kylin的工作原理本质上是 MOLAP(多维立方体分析)

维度和度量

维度就是观察数据的角度&＃xff0c;例如&＃xff1a;

• 电商的销售数据&＃xff0c;可以从时间的维度来观察&＃xff0c;也可以细化从时间和地区的维度来观察
• 统计时&＃xff0c;可以把维度值相同的记录聚合在一起&＃xff0c;然后应用聚合函数做累加、平均、去重计数等聚合计算

度量就是被聚合的统计值&＃xff0c;也是聚合运算的结果

Cube和Cuboid

• 一个数据表或数据模型上的字段就它们要么是维度&＃xff0c;要么是度量&＃xff08;可以被聚合&＃xff09;

• 给定一个数据模型&＃xff0c;可以对其上的所有维度进行组合。对于N个维度来说&＃xff0c;组合的所有可能性共有2 的N 次方种

• 对于每一种维度的组合&＃xff0c;将度量做聚合运算&＃xff0c;然后将运算的结果保存为一个物化视图&＃xff0c;称为Cuboid&＃xff08;立方形&＃xff09;

• 所有维度组合的Cuboid作为一个整体&＃xff0c;被称为Cube&＃xff08;立方体&＃xff09;。一个Cube就是许多按维度聚合的物化视图的集合。

• 数据立方体
  • Cube 是所有 dimession 的组合
  • 每一种 dimession 的组合称之为cuboid&＃xff08;立方形&＃xff09;。某一有 n 个 dimession 的 cube 会有 2^n个 cuboid
  • 数据立方体只是多维模型的一个形象的说法

• 为什么叫立方体&＃xff1f;
  • 立方体本身只有三维&＃xff0c;但多维模型不仅限于三维模型&＃xff0c;可以组合更多的维度
  • 为了与传统关系型数据库的二维表区别开来&＃xff0c;才有了数据立方体的叫法

工作原理

Apache Kylin的工作原理是对数据模型做Cube预计算&＃xff0c;并利用计算的结果加速查询。具体工作过程如下:

1. 指定数据模型&＃xff0c;定义维度和度量
2. 预计算Cube&＃xff0c;计算所有Cuboid并保存为物化视图&＃xff08;存储到hbase中&＃xff09;
3. 执行查询时&＃xff0c;读取Cuboid&＃xff0c;运算&＃xff0c;产生查询结果

高效OLAP分析&＃xff1a;

• Kylin的查询过程不会扫描原始记录&＃xff0c;而是通过预计算预先完成表的关联、聚合等复杂运算
• 利用预计算的结果来执行查询&＃xff0c;相比非预计算的查询技术&＃xff0c;其速度一般要快一到两个数量级&＃xff0c;在超大的数据集上优势更明显
• 数据集达到千亿乃至万亿级别时&＃xff0c;Kylin的速度可以超越其他非预计算技术1000倍以上

技术架构

Apache Kylin系统可以分为在线查询和离线构建两部分。

在线查询模式主要处于上半部分&＃xff0c;离线构建处于下半部分。以下为Kylin技术架构的具体内容&＃xff1a;

1. 数据源主要是Hadoop Hive&＃xff0c;数据以关系表的形式输入&＃xff0c;且必须符合星形模型&＃xff0c;保存着待分析的用户数据。根据元数据的定义&＃xff0c;构建引擎从数据源抽取数据&＃xff0c;并构建Cube

2. Kylin可以使用MapReduce或者Spark作为构建引擎。构建后的Cube保存在右侧的存储引擎中&＃xff0c;一般选用HBase作为存储

3. 完成了离线构建后&＃xff0c;用户可以从上方查询系统发送SQL进行查询分析

4. Kylin提供了各种Rest API、JDBC/ODBC接口。无论从哪个接口进入&＃xff0c;SQL最终都会来到Rest服务层&＃xff0c;再转交给查询引擎进行处理

5. SQL语句是基于数据源的关系模型书写的&＃xff0c;而不是Cube

   • Kylin在设计时&＃xff0c;刻意对查询用户屏蔽了Cube的概念
   • 分析师只需要理解简单的关系模型就可以使用Kylin&＃xff0c;没有额外的学习门槛&＃xff0c;传统的SQL应用也很容易迁移
   • 查询引擎解析SQL&＃xff0c;生成基于关系表的逻辑执行计划&＃xff0c;然后将其转译为基于Cube的物理执行计划&＃xff0c;最后查询预计算生成的Cube并产生结果&＃xff0c;整个过程不会访问原始数据源

小结

--------
感谢大家的支持,若有什么不正确的地方还请大家能及时的反馈,记得点赞收藏支持一下!