【3天掌握Spark】Standalone集群

架构组成

Spark Stanadlone集群类似Hadoop YARN集群功能&＃xff0c;管理整个集群中资源&＃xff08;CUP Core核数、内存Memory、磁盘Disk、网络带宽等&＃xff09;
Standalone集群使用了分布式计算中的master-slave模型&＃xff0c;master是集群中含有Master进程的节点&＃xff0c;slave是集群中的Worker节点含有Executor进程。

• Standalone集群主从架构&＃xff1a;Master-Slave

• 主节点&＃xff1a;老大&＃xff0c;管理者&＃xff0c;Master

• 从节点&＃xff1a;小弟&＃xff0c;干活的&＃xff0c;Workers

• 
  Spark Standalone集群&＃xff0c;类似Hadoop YARN&＃xff0c;管理集群资源和调度资源&＃xff1a;

• Master&＃xff0c;管理整个集群资源&＃xff0c;接收提交应用&＃xff0c;分配资源给每个应用&＃xff0c;运行Task任务

• Worker&＃xff0c;管理每个机器的资源&＃xff0c;分配对应的资源来运行Task&＃xff1b;每个从节点分配资源信息给Worker管理&＃xff0c;资源信息包含内存Memory和CPU Cores核数

• HistoryServer&＃xff0c;Spark Application运行完成以后&＃xff0c;保存事件日志数据至HDFS&＃xff0c;启动HistoryServer可以查
  看应用运行相关信息。
  

配置和部署

当前使用三台虚拟机

服务启动和运行应用

在Master节点node1上启动&＃xff0c;进入$SPARK_HOME&＃xff0c;必须配置主节点到所有从节点的&＃96;SSH无密钥&＃96;登录&＃xff0c;集群各个机器&＃96;时间同步&＃96;。


• 主节点Master启动命令

[root&＃64;node1 ~]# /export/server/spark/sbin/start-master.sh
starting org.apache.spark.deploy.master.Master, logging to /export/server/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-node1.itcast.cn.out
[root&＃64;node1 ~]#
[root&＃64;node1 ~]# jps
15076 DataNode
15497 Master
15545 Jps
14973 NameNode


WEB UI页面地址&＃xff1a;http://node1:8080

• 从节点Workers启动命令

/export/server/spark/sbin/start-slaves.sh


• 历史服务器HistoryServer

/export/server/spark/sbin/start-history-server.sh


WEB UI页面地址&＃xff1a;http://node1:18080

​ 将上述运行在Local Mode的圆周率PI程序&＃xff0c;运行在Standalone集群上&＃xff0c;修改【--master】地址为Standalone集群地址&＃xff1a;spark://node1.itcast.cn:7077&＃xff0c;具体命令如下&＃xff1a;

SPARK_HOME&＃61;/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master spark://node1.itcast.cn:7077 \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.5.jar \
10


查看Master主节点WEB UI界面&＃xff1a;

登录到Spark HistoryServer历史服务器WEB UI界面&＃xff0c;点击刚刚运行圆周率PI程序&＃xff1a;

切换到【Executors】Tab页面&＃xff1a;

从图中可以看到Spark Application运行到集群上时&＃xff0c;由两部分组成&＃xff1a;Driver Program和Executors

每个Executor相当于线程池&＃xff0c;每个线程运行Task任务&＃xff0c;需要1Core CPU。

• 一、Driver Program
  • 相当于AppMaster&＃xff0c;整个应用管理者&＃xff0c;负责应用中所有Job的调度执行;
  • 运行JVM Process&＃xff0c;运行程序的MAIN函数&＃xff0c;必须创建SparkContext上下文对象&＃xff1b;
  • 一个SparkApplication仅有一个&＃xff1b;
• 第二、Executors
  • 相当于一个线程池&＃xff0c;运行JVM Process&＃xff0c;其中有很多线程&＃xff0c;每个线程运行一个Task任务&＃xff0c;
    一个Task运行需要1 Core CPU&＃xff0c;所有可以认为Executor中线程数就等于CPU Core核数&＃xff1b;
  • 一个Spark Application可以有多个&＃xff0c;可以设置个数和资源信息&＃xff1b;
    -

Spark 应用WEB UI 监控

Spark 提供了多个监控界面&＃xff0c;当运行Spark任务后可以直接在网页对各种信息进行监控查看。

运行spark-shell交互式命令在Standalone集群上&＃xff0c;命令如下&＃xff1a;

/export/server/spark/bin/spark-shell --master spark://node1:7077


在spark-shell中执行词频统计WordCount程序代码&＃xff0c;运行如下&＃xff1a;

val inputRDD &＃61; sc.textFile("/datas/wordcount.data")
val wordcountsRDD &＃61; inputRDD.flatMap(line &＃61;> line.split("\\s&＃43;")).map(word &＃61;> (word, 1)).reduceByKey((tmp, item) &＃61;> tmp &＃43;item)
wordcountsRDD.take(5)

可以发现在一个Spark Application中&＃xff0c;包含多个Job&＃xff0c;每个Job有多个Stage组成&＃xff0c;每个Job执行按照DAG图进行的。

其中每个Stage中包含多个Task任务&＃xff0c;每个Task以线程Thread方式执行&＃xff0c;需要1Core CPU。

Spark Application程序运行时三个核心概念&＃xff1a;Job、Stage、Task&＃xff0c;说明如下

Job和Stage及Task之间关系&＃xff1a;

Standalone HA

Spark Standalone集群是Master-Slaves架构的集群模式&＃xff0c;和大部分的Master-Slaves结构集群一样&＃xff0c;存在着Master单点故障&＃xff08;SPOF&＃xff1a;single Point of Failover&＃xff09;的问题。

ZooKeeper提供了一个Leader Election机制&＃xff0c;利用这个机制可以保证虽然集群存在多个Master&＃xff0c;但是只有一个是Active的&＃xff0c;其他的都是Standby。当Active的Master出现故障时&＃xff0c;另外的一个Standby Master会被选举出来。

使用Zookeeper集群&＃xff1a;选举leader、监控leader

基于Zookeeper实现HA&＃xff1a;http://spark.apache.org/docs/2.4.5/spark-standalone.html#high-availability
点个赞嘛&＃xff01;