热门标签 | HotTags
当前位置:  开发笔记 > 前端 > 正文

CDH中ApacheKylin使用spark引擎构建Cube

简介Kylinv2.0引入了Spark引擎,可以在构建Cube步骤中替换MapReduce,目前还是beta版本,以下是配置步骤。
简介

    Kylin v2.0引入了Spark引擎,可以在构建Cube步骤中替换MapReduce,目前还是beta版本,以下是配置步骤。

配置步骤

    1.在kylin的安装目录下,新建目录hadoop_conf
          
  mkdir  $KYLIN_HOME/hadoop_conf
    
    2.将core-site.xml,hdfs-site.xml,hbase-site.xml,hive-site.xml,yarn-site.xml 5个配置文件放入刚才建立的目录。
     (如果使用的是Apache的Hadoop,hbase,hive等,去配置文件目录复制或者建立软连接,我使用的是CDH管理集群,那么配置文件 就在/etc/hadoop/conf,/etc/hive/conf,/etc/hbase/conf路径下,直接复制过去)
    cp /etc/hadoop/conf/hdfs-site.xml    $KYLIN_HOME/hadoop_conf
    cp /etc/hadoop/conf/yarn-site.xml    $KYLIN_HOME/hadoop_conf
    cp /etc/hadoop/conf/core-site.xml    $KYLIN_HOME/hadoop_conf
    cp /etc/hbase/conf/hdfs-site.xml    $KYLIN_HOME/hadoop_conf
    cp /etc/hive/conf/hdfs-site.xml    $KYLIN_HOME/hadoop_conf
        
    3.修改kylin.properties,添加以下配置(这里写 hadoop-conf的全路径,路径根据自己hadoo_conf目录所在位置决定
    kylin.env.hadoop-conf-dir=/opt/apache-kylin-2.1.0-bin-cdh57/hadoop_conf

            4.重启kylin
     
   bin/kylin.sh  stop
   bin/kylin.sh  start
        注:1.如果直接使用bin/kylin.sh restart重启,有可能配置会不生效,我就遇到了,用上面的方式重启就没问题
               2.在kylin的web页面上,有system选项卡,里面有reload   config,本来我以为修改配置文件后可以点击此按钮,不用重启,但是实验证明这样配置也无法生效。所以保险的方法就是按照上面的方式重启。
    
    5.下面是官方,关于配置spark引擎的文档,给出链接以便查阅
                 http://kylin.apache.org/docs20/tutorial/cube_spark.html

推荐阅读
author-avatar
zzzzzzzzssss
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有