与kylin_大数据分析架构Kylin

Kylin 大数据分析架构介绍

企业中查询大致可分为即席查询和定制查询两种。之前出现的OLAP引擎&＃xff0c;如Hive、Presto、SparkSQL等。虽然在很大程度上降低了数据分析的难度&＃xff0c;但只适用于即席查询的场景&＃xff0c;查询灵活。但响应时间不能得到保证&＃xff0c;尤其是数据量增长到很大量时。而定制查询是要对用户的查询操作做出实时反应。Kylin就是为解决这样的情况而诞生的。

Kylin是ebay开发的一套OLAP系统(基于hadoop平台的)&＃xff0c;与Mondrian不同的是&＃xff0c;它是一个MOLAP系统&＃xff0c;主要用于支持大数据生态圈的数据分析业务&＃xff0c;其实就是为了解决大数据系统中TB级别数据的数据分析需求。它不同于大规模并行处理的架构(如hive&＃xff0c;presto等)&＃xff0c;采用的是预计算的模式&＃xff0c;即用户需要提前定义好查询维度&＃xff0c;Kylin帮助我们进行计算&＃xff0c;并将结果存储到habse中&＃xff0c;为海量数据的查询和分析提供亚秒级响应&＃xff0c;是一个典型的空间换时间的解决方案。

其实就是用穷举的办法把所有可能涉及到的维度的组合数都算一遍。利用sql解析&＃xff0c;利用Hbase的性能&＃xff0c;从算好的结果中提取数据。

它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中(目前还仅支持hbase).

预计算主要是对hive中的数据进行预计算&＃xff0c;利用hadoop的mapreduce框架实现。

通过预计算的这种方式缓存了所有需要查询的的数据结果&＃xff0c;因此需要大量的存储空间(原数据量的10&＃43;倍)。

也就是说Kylin构建在Hadoop等分布式计算平台之上&＃xff0c;充分利用了MapReduce的并行处理能力和可扩展基础设施&＃xff0c;高效处理超大数据规模(其实kylin的中的cuboid都是基于MapReduce任务的)&＃xff0c;可根据数据的规模实现架构的可伸缩。

其过程包括如下&＃xff1a;

- 数据源(Hive、Kafla)

- 计算&＃xff1a;构建多维立方体用MapRedue

- 存储&＃xff1a;Hbase

- SQL查询解析&＃xff1a; kylin SQL解析器

特性有2个&＃xff0c;一是超高性能&＃xff0c;在万亿数据上达到亚秒级的查询数据&＃xff0c;典型案例的如今日头条。

二是高并发&＃xff0c;具备很好的横向扩展能力进行负载均衡&＃xff0c;案例如京东在对外的数据接口上。

Kylin的部署架构&＃xff0c;一般都四种典型部署方式&＃xff0c;从简单到复杂。

1、单实例部署方式(Single instance)。

在Hadoop集群的一个节点上部署&＃xff0c;然后启动即可。建模人员通过Kylin Web登录&＃xff0c;进行建模和创建Cube。

业务分析系统等发送SQL到Kylin&＃xff0c;Kylin查询Cube并返回结果。

特点是简单快捷&＃xff0c;而是单点。如果并发请求比较多(QPS > 50)&＃xff0c;单台Kylin节点将成为瓶颈。

2、集群(Cluster)部署方式。

Kylin部署集群方式相对来说也简单&＃xff0c;只需要增加Kylin的节点数&＃xff0c;因为Kylin的元数据(Metadata)是存储在HBase中&＃xff0c;

只需要在Kylin中配置&＃xff0c;让Kylin的每个节点都能访问同一个Metadata表就形成了Kylin集群(kylin.metadata.url 值相同)。

并且Kylin集群中只有一个Kylin实例运行任务引擎(kylin.server.mode&＃xff1d;all)&＃xff0c;其它Kylin实例都是查询引擎(kylin.server.mode&＃61;query)模式。

通常可以使用LDAP来管理用户权限。

3、读写分离部署方式。

Kylin非常适合读写分离&＃xff0c;原因是Kylin的工作负载有两种&＃xff1a;

•Cube的计算&＃xff0c;调用MapReduce进行批量计算&＃xff0c;而且延时很长的计算&＃xff0c;需要密集的CPU和IO资源

•在线的实时查询计算&＃xff0c;就是Cube计算结束后进行查询&＃xff0c;而且都是只读的操作&＃xff0c;要求响应快&＃xff0c;延迟低。

如果应用场景是利用夜间执行Cube计算&＃xff0c;白天上班时间进行查询分析&＃xff0c;那么可以考虑采用这种部署方式。

简单的说就是Hadoop和HBase集群的分离。

4、Staging和production多环境的部署。

Staging可以理解为Production生产环境的镜像&＃xff0c;或者测试环境。这样是不希望这个有问题的Cube能进入生产环境&＃xff0c;保证了Production环境的稳定。