Spark自带的集群模式（Standalone），Spark/Sparkha集群搭建

1、Spark自带的集群模式

对于Spark自带的集群模式&＃xff0c;Spark要先启动一个老大&＃xff08;Master&＃xff09;,然后老大Master和各个小弟&＃xff08;Worker&＃xff09;进行通信&＃xff0c;其中真正干活的是Worker下的Executor。关于提交任务的&＃xff0c;需要有一个客户端&＃xff0c;这个客户端叫做Driver.这个Driver首先和Master建立通信&＃xff0c;然后Master负责资源分配&＃xff0c;然后让Worker启动Executor,然后Executor和Driver进行通信。效果图如下&＃xff1a;

2、Spark集群搭建&＃xff08;先非HA—>再HA&＃xff09;

2.1&＃xff0e; 机器准备

A&＃xff1a;准备5台Linux服务器&＃xff08;hadoop1(Master),hadoop2(Master),hadoop3(worker),hadoop4(worker),hadoop5(worker)&＃xff09;
B:安装好/usr/local/jdk1.8.0_73

2.2&＃xff0e; 下载Spark安装包

下载地址&＃xff1a;http://spark.apache.org/downloads.html

https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz
上传解压安装包
上传spark-2.1.1-bin-hadoop2.7.tgz安装包到Linux上的/home/tuzq/software

解压安装包到指定位置

[root&＃64;hadoop1 software] cd /home/tuzq/software
[root&＃64;hadoop1 software] tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /home/tuzq/software
[root&＃64;hadoop1 software]# cd spark-2.1.1-bin-hadoop2.7
[root&＃64;hadoop1 spark-2.1.1-bin-hadoop2.7]# ls
bin conf data examples jars LICENSE licenses NOTICE python R README.md RELEASE sbin yarn
[root&＃64;hadoop1 spark-2.1.1-bin-hadoop2.7]#


2.3&＃xff0e; 配置Spark

进入到Spark安装目录

cd /home/tuzq/software/spark-2.1.1-bin-hadoop2.7


进入conf目录并重命名并修改spark-env.sh.template文件

[root&＃64;hadoop1 spark-2.1.1-bin-hadoop2.7]# cd conf/
[root&＃64;hadoop1 conf]# pwd
/home/tuzq/software/spark-2.1.1-bin-hadoop2.7/conf
[root&＃64;hadoop1 conf]# mv spark-env.sh.template spark-env.sh
[root&＃64;hadoop1 conf]# vim spark-env.sh


在该配置文件中添加如下配置

export JAVA_HOME&＃61;/usr/local/jdk1.8.0_73
export SPARK_MASTER_IP&＃61;hadoop1
export SPARK_MASTER_PORT&＃61;7077


保存退出
重命名并修改slaves.template文件

mv slaves.template slaves
vi slaves


在该文件中添加子节点所在的位置&＃xff08;Worker节点&＃xff09;
hadoop3
hadoop4
hadoop5
保存退出

配置环境变量&＃xff1a;

vim /etc/profile#set spark env
export SPARK_HOME&＃61;/home/tuzq/software/spark-2.1.1-bin-hadoop2.7
export PATH&＃61;$PATH:$SPARK_HOME/binsource /etc/profile


将配置好的Spark拷贝到其他节点上

cd /home/tuzq/software
scp -r spark-2.1.1-bin-hadoop2.7 root&＃64;hadoop2:$PWD
scp -r spark-2.1.1-bin-hadoop2.7 root&＃64;hadoop3:$PWD
scp -r spark-2.1.1-bin-hadoop2.7 root&＃64;hadoop4:$PWD
scp -r spark-2.1.1-bin-hadoop2.7 root&＃64;hadoop5:$PWD


Spark集群配置完毕&＃xff0c;目前是1个Master&＃xff0c;3个Work&＃xff0c;在hadoop1上启动Spark集群

/home/tuzq/software/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh


运行结果&＃xff1a;

如果想停止&＃xff0c;就用&＃xff1a;

/home/tuzq/software/spark-2.1.1-bin-hadoop2.7/sbin/stop-all.sh


启动后执行jps命令&＃xff0c;主节点上有Master进程&＃xff0c;其他子节点上有Work进行&＃xff0c;登录Spark管理界面查看集群状态&＃xff08;主节点&＃xff09;&＃xff1a;http://hadoop1:8080/

2.4.Spark-Ha集群配置

到此为止&＃xff0c;Spark集群安装完毕&＃xff0c;但是有一个很大的问题&＃xff0c;那就是Master节点存在单点故障&＃xff0c;要解决此问题&＃xff0c;就要借助zookeeper&＃xff0c;并且启动至少两个Master节点来实现高可靠&＃xff0c;配置方式比较简单&＃xff1a;
Spark集群规划&＃xff1a;hadoop1&＃xff0c;hadoop2是Master&＃xff1b;hadoop3&＃xff0c;hadoop4&＃xff0c;hadoop5是Worker
安装配置zk集群&＃xff0c;并启动zk集群(hadoop11,hadoop12,hadoop13)
停止spark所有服务&＃xff0c;修改配置文件spark-env.sh&＃xff0c;在该配置文件中删掉SPARK_MASTER_IP并添加如下配置
export SPARK_DAEMON_JAVA_OPTS&＃61;"-Dspark.deploy.recoveryMode&＃61;ZOOKEEPER -Dspark.deploy.zookeeper.url&＃61;hadoop11,hadoop12,hadoop13 -Dspark.deploy.zookeeper.dir&＃61;/spark"

效果如下&＃xff1a;

将修改的配置同步到hadoop2,hadoop3,hadoop4,hadoop5这些机器上

[root&＃64;hadoop1 conf]# pwd /home/tuzq/software/spark-2.1.1-bin-hadoop2.7/conf
[root&＃64;hadoop1 conf]# scp -r * root&＃64;hadoop2:$PWD
[root&＃64;hadoop1 conf]# scp -r * root&＃64;hadoop3:$PWD
[root&＃64;hadoop1 conf]# scp -r * root&＃64;hadoop4:$PWD
[root&＃64;hadoop1 conf]# scp -r * root&＃64;hadoop5:$PWD


1. 在hadoop1节点上修改slaves配置文件内容指定worker节点(本篇博客上hadoop3,hadoop4,hadoop5为worker,hadoop1和hadoop2 master)
2. 在hadoop1上执行sbin/start-all.sh脚本&＃xff0c;然后在hadoop2上执行sbin/start-master.sh启动第二个Master&＃xff08;注意在启动之前先停止启动了的单集群&＃xff09;

[root&＃64;hadoop2 ~]# cd $SPARK_HOME
[root&＃64;hadoop2 spark-2.1.1-bin-hadoop2.7]# sbin/start-all.sh


[root&＃64;hadoop2 ~]# cd $SPARK_HOME
[root&＃64;hadoop2 spark-2.1.1-bin-hadoop2.7]# sbin/start-master.sh


3、接着访问http://hadoop1:8080/&＃xff1a;
效果如下&＃xff1a;

上面的状态是&＃xff1a;ALIVE状态
接着访问http://hadoop2:8080/&＃xff1a;

上面的状态是&＃xff1a;STANDBY状态&＃xff0c;通过上面的这些现象可以知道Spark集群已经搭建成功