cdh安装_CDH6.3.2中自定义flinkparcel包以及如何安装查看flinkweb界面

微信公众号&＃xff1a;大数据老司机

本文目标

最近一直在忙着工作的事和家里的事情&＃xff0c;距离上一篇文章已经过去45天了&＃xff0c;惭愧惭愧啊&＃xff01;今天开始就开始更新了。
之前写过一篇《CDH中自定义flink的parcel包和csd文件》&＃xff0c;本文就接着上一篇内容&＃xff0c;也就是在自定义flink parcel包后如何在CM上面部署已经如何使用查看flink任务状态等信息。

实操步骤

一、自己打flink1.10.1 parcel包

1.下载制作Parcel包和CSD文件的脚本
git clone https://github.com/Git-Charles/flink-parcel.git
2.修改配置文件 flink-parcel.properties
[root&＃64;cdp103 flink-parcel]# vim flink-parcel.properties 
#FLINK 下载地址
FLINK_URL&＃61;https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz
#FLINK_MD5&＃61;0718a04fe0a641cc5f5368124a4c54a5 此处MD5值需要修改
FLINK_MD5&＃61;d65b756acb1142bf1ef9295130d5fbd2
#flink版本号
FLINK_VERSION&＃61;1.10.1
#扩展版本号
EXTENS_VERSION&＃61;BIN-SCALA_2.11
#操作系统版本&＃xff0c;以centos为例
OS_VERSION&＃61;7
#CDH 小版本
CDH_MIN_FULL&＃61;6.1
CDH_MAX_FULL&＃61;6.3
#CDH大版本
CDH_MIN&＃61;6
CDH_MAX&＃61;6
3.sh bulid.sh parcel (注意:但是在编译的时候需要改动FLINK_MD5的值&＃xff0c;
先执行sh bulid.sh parcel后编译出错后会有一个MD5出来&＃xff0c;然后把匹配的那个MD5拷贝进去再重新编译就好了)
4.sh build.sh csd_on_yarn
5.sh build.sh csd_standalone
6.查看Parcel包和csd文件
[root&＃64;cdp103 flink-parcel]# ll | grep jar
-rw-r--r-- 1 root root      4704 Jun 29 16:44 FLINK-1.10.1.jar
-rw-r--r-- 1 root root      5227 Jun 29 16:44 FLINK_ON_YARN-1.10.1.jar
[root&＃64;cdp103 flink-parcel]# ll FLINK-1.10.1-BIN-SCALA_2.11_build
total 281912
-rw-r--r-- 1 root root 288665179 Jun 29 16:41 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel
-rw-r--r-- 1 root root        41 Jun 29 16:41 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel.sha
-rw-r--r-- 1 root root       581 Jun 29 16:41 manifest.json


2.把打好的parcel包放入指定位置

[root&＃64;cdh138 flink1.10.1]# pwd
/var/www/html/flink1.10.1
[root&＃64;cdh138 flink1.10.1]# ll
total 281908
-rw-r--r-- 1 root root 288665179 Jun 29 16:46 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel
-rw-r--r-- 1 root root        41 Jun 29 16:57 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel.sha
-rw-r--r-- 1 root root       581 Jun 29 16:46 manifest.json
[root&＃64;cdh138 csd]# pwd
/opt/cloudera/csd
[root&＃64;cdh138 csd]# ll
total 48
-rw-r--r-- 1 root         root          5227 Jun 29 16:48 FLINK_ON_YARN-1.10.1.jar
[root&＃64;cdh138 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root&＃64;cdh138 parcel-repo]# ll
total 9100172
-rw-r----- 1 cloudera-scm cloudera-scm  326338560 Jun 29 16:57 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel
-rw-r--r-- 1 root         root                 41 Jun 29 16:55 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel.sha
-rw-r----- 1 cloudera-scm cloudera-scm      12625 Jun 29 17:09 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel.torrent


3.验证本地repo源

总结

至此&＃xff0c;CDH6.3.2中从自己打parcel到安装&＃xff0c;最好在flink web ui界面查看运行状态全部完成&＃xff01;需要住的是本来flink web ui默认端口是8081&＃xff0c;但是由于CDH中组件繁多&＃xff0c;端口已不是8081&＃xff0c;而是40611 这个坑找了我不少时间&＃xff0c;因为网上没有人问这个事情&＃xff01;