作者：zzzzzzzzssss | 来源：互联网 | 2022-12-14 12:10
简介
Kylin v2.0引入了Spark引擎，可以在构建Cube步骤中替换MapReduce，目前还是beta版本，以下是配置步骤。
配置步骤
1.在kylin的安装目录下，新建目录hadoop_conf
mkdir $KYLIN_HOME/hadoop_conf
2.将core-site.xml，hdfs-site.xml,hbase-site.xml,hive-site.xml,yarn-site.xml 5个配置文件放入刚才建立的目录。
（如果使用的是Apache的Hadoop，hbase，hive等，去配置文件目录复制或者建立软连接，我使用的是CDH管理集群，那么配置文件
就在/etc/hadoop/conf,/etc/hive/conf,/etc/hbase/conf路径下，直接复制过去）
cp /etc/hadoop/conf/hdfs-site.xml $KYLIN_HOME/hadoop_conf
cp /etc/hadoop/conf/yarn-site.xml $KYLIN_HOME/hadoop_conf
cp /etc/hadoop/conf/core-site.xml $KYLIN_HOME/hadoop_conf
cp /etc/hbase/conf/hdfs-site.xml $KYLIN_HOME/hadoop_conf
cp /etc/hive/conf/hdfs-site.xml $KYLIN_HOME/hadoop_conf
3.修改kylin.properties，添加以下配置（这里写
hadoop-conf的全路径，路径根据自己hadoo_conf目录所在位置决定
）
kylin.env.hadoop-conf-dir=/opt/apache-kylin-2.1.0-bin-cdh57/hadoop_conf
4.重启kylin
bin/kylin.sh stop
bin/kylin.sh start
注：1.如果直接使用bin/kylin.sh restart重启，有可能配置会不生效，我就遇到了，用上面的方式重启就没问题
2.在kylin的web页面上，有system选项卡，里面有reload config，本来我以为修改配置文件后可以点击此按钮，不用重启，但是实验证明这样配置也无法生效。所以保险的方法就是按照上面的方式重启。
5.下面是官方，关于配置spark引擎的文档，给出链接以便查阅
http://kylin.apache.org/docs20/tutorial/cube_spark.html
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有