ApacheFlink最全最详细集群安装

问题导读
1.ssh安装需要注意什么问题&＃xff1f;
2.Flink集群配置文件是哪个&＃xff1f;
3.Flink常用配置参数的含义是什么&＃xff1f;
4.如何具体配置某个taskmanager的内存&＃xff1f;
5.如何指定taskmanager&＃xff1f;
6.如何指定nodemanager&＃xff1f;
7.如何启动集群&＃xff1f;

集群安装模式
设置Flink集群也非常简单。 那些有安装Hadoop集群背景的人来说会非常容易。 为了规划集群&＃xff0c;我们假设我们有三台Linux机器&＃xff0c;每台机器都配置适中。 可以为2core和4 GB 内存机器。

由于我们有三台机器&＃xff0c;我们将使用一台机器作为作业管理器&＃xff0c;将另外两台机器用作任务管理器&＃xff0c;当然你更多台也是可以的。

对于集群的安装配置&＃xff0c;如果你已经安装过集群&＃xff0c;那么其实比较简单&＃xff0c;无外乎&＃xff0c;hostname&＃xff0c;hosts&＃xff0c;虚拟机克隆&＃xff0c;ssh安装&＃xff0c;Java安装等&＃xff0c;这些几乎是集群必备。准备完这些接着就是配置文件&＃xff0c;然后启动集群&＃xff0c;多么简单的事情。这里对于集群安装的准备工作&＃xff0c;就不在写那么详细了&＃xff0c;如果不明白推荐参考
集群安装准备工作&＃xff1a;Hadoop、Spark、Flink等
http://www.aboutyun.com/forum.php?mod&＃61;viewthread&tid&＃61;26395
集群规划&＃xff1a;
192.168.1.10 job
192.168.1.20 task1
192.168.1.30 task2

SSH配置
首先生成key

这里就不在详细操作&＃xff0c;介绍下步骤&＃xff0c;详细参考上文链接
1.首先每台生成key
2.将id_dsa.pub全部追加到authorized_keys文件里面&＃xff0c;如下图


将全部机器&＃xff08;这里三台&＃xff09;全部保存上面文件在.ssh文件夹里。
最后ssh安装&＃xff0c;实现无密码登陆。
这里贴出来常用命令&＃xff1a;
追加内容

远程分发到task2&＃xff1a;

这里面特别注意权限问题&＃xff1a;
chmod 700 .ssh
chmod 600 .ssh/authorized_keys

一定注意是上面权限&＃xff0c;即使变成777&＃xff0c;恐怕不能ssh成功&＃xff0c;是700和600&＃xff0c;一定没有问题的。

Java1.8安装


tar包下载&＃xff1a;
链接: https://pan.baidu.com/s/19VpIRATjjOMjqdwTfTEMgQ 提取码: rbdj

其它同似参考
centos7 安装jdk 1.7
http://www.aboutyun.com/forum.php?mod&＃61;viewthread&tid&＃61;17730

linux中Java jdk环境变量的含义
http://www.aboutyun.com/forum.php?mod&＃61;viewthread&tid&＃61;6766

Flink 安装
完成SSH和Java安装后&＃xff0c;我们需要下载Flink二进制文件并将其解压缩到特定文件夹中。 请注意所有节点上的安装目录应该相同。安装包下载&＃xff1a;
链接: https://pan.baidu.com/s/1iWGqtfkY3XX0LVK-veFmHw 提取码: qu5y
首先是解压
 

我这里加压到/usr目录下面&＃xff0c;这里三台都要解压。

配置
Flink的配置很简单。 我们需要调整一些参数&＃xff0c;我们都已设置好。 作业管理器节点和任务管理器节点的大多数配置都相同。 所有配置都在conf/flink-conf.yaml文件中完成。下面我们开始配置
进入目录

打开编辑文件

我们看到下面内容


发现很flink真的很人性化&＃xff0c;竟然大多数参数都给配置上了。但是一个参数需要改
第一步&＃xff1a;指定jobmanager

localhost改为主机hostname&＃xff0c;我这里的hostname为job.

第二步&＃xff1a;配置JAVA_HOME
还有我们需要添加JAVA_HOME

以便让Flink找到Java,替换为自己的路径

第三步&＃xff1a;配置taskmanager

指定taskmanager&＃xff0c;如下图

下面是对参数的说明
#############################
参数说明&＃xff1a;
通过编辑conf / flink-conf.yaml为集群配置Flink。将jobmanager.rpc.address键设置为指向主节点。通过设置jobmanager.heap.mb和taskmanager.heap.mb键来定义允许JVM在每个节点上分配的最大主内存量。这些值以MB为单位。如果某些工作节点具有要分配给Flink系统的更多主内存&＃xff0c;则可以通过在这些特定节点上设置环境变量FLINK_TM_HEAP来覆盖默认值。
最后&＃xff0c;必须提供集群中所有节点的列表&＃xff0c;这些节点将用作工作节点。因此&＃xff0c;与HDFS配置类似&＃xff0c;编辑文件conf/slaves并输入每个工作节点的IP /主机名。每个工作节点稍后将运行TaskManager。

################################
第四步&＃xff1a;分发配置文件

然后移动到/usr/,记得两个节点都需要移动

移动完毕&＃xff0c;这里需要确认下权限&＃xff0c;所有文件一定都属于都一个用户&＃xff0c;比如下图都属于aboutyun


第五步&＃xff1a;启动集群
进入bin目录