ApacheSpark1.0.1集群搭建[转]

　　Apache Spark   a fast and general engine for large-scale data processing

　　Spark是一个高效的分布式计算系统&＃xff0c;相比Hadoop&＃xff0c;它在性能上比Hadoop要高100倍。Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台&＃xff0c;它克服了MapReduce在迭代式计算和交互式计算方面的不足&＃xff0c;通过引入RDD&＃xff08;Resilient Distributed Datasets&＃xff09;数据表示模型&＃xff0c;能够很好地解决MapReduce不易解决的问题。相比于MapReduce&＃xff0c;Spark能够充分利用内存资源提高计算效率。

一、基本环境

包含三个节点&＃xff1a;

master&＃xff08;Ubuntu Desktop版本&＃xff09; 192.168.145.128

slave1&＃xff08;Ubuntu Server版本&＃xff09;    192.168.145.129

slave2&＃xff08;Ubuntu Server版本&＃xff09;    192.168.145.130

操作系统&＃xff1a;Ubuntu14.04 x64

JDK版本&＃xff1a;jdk1.8.0_11 

Hadoop版本&＃xff1a;Hadoop-2.2.0  

Scala版本&＃xff1a;2.10.4&＃xff08;官网要求2.10.X&＃xff09;

Spark版本&＃xff1a;1.0.1

取得《Spark-1.0.1 的make-distribution.sh编译、SBT编译、Maven编译 三种编译方法》中编译好的 spark-1.0.1-bin-2.2.0.tgz

Hadoop-2.2.0集群的安装见http://www.cnblogs.com/fesh/p/3766656.html

Scala的安装见 http://www.cnblogs.com/fesh/p/3805611.html   

&＃xff08;注&＃xff1a;Scala在master节点上安装好后&＃xff0c;直接用scp命令分发到slave1、slave2&＃xff0c;并在slave1和slave2配置环境变量即可&＃xff09;

在master节点和slave1节点分别配置/etc/hosts和/etc/hostname&＃xff1a;&＃xff08;下面这些应该在安装Hadoop集群时已经配置好了&＃xff09;

/etc/hosts

/etc/hostname  (master)

/etc/hostname  (slave1)

/etc/hostname  (slave2)

二、Spark配置

1、master节点文件配置

在master节点&＃xff1a;

解压spark-1.0.1-bin-2.2.0.tgz

在/etc/profile中配置环境变量

在spark-1.0.1-bin-2.2.0/conf下配置文件spark-env.sh和slaves&＃xff1a;

在文件spark-env.sh末尾添加&＃xff1a;

export HADOOP_CONF_DIR&＃61;/home/fesh/hadoop-2.2.0/etc/hadoop
export JAVA_HOME&＃61;/usr/lib/jvm/jdk1.8.0_11
export SCALA_HOME&＃61;/home/fesh/scala-2.10.4
export SPARK_MASTER_IP&＃61;master
export SPARK_WORKER_MEMORY&＃61;512M
export SPARK_EXECUTOR_MEMORY&＃61;512Mexport SPARK_EXECUTOR_INSTANCES&＃61;2 &＃xff08;下面这几项可以不配置&＃xff0c;采用默认就可以了&＃xff09;
export SPARK_EXECUTOR_CORES&＃61;1
export SPARK_DRIVER_MEMORY&＃61;512M
export SPARK_YARN_APP_NAME&＃61;"spark 1.0.1"

在文件slaves中去掉localhohst并设置

2、分发文件

分发spark-1.0.1-bin-2.2.0文件到slave1节点

分发spark-1.0.1-bin-2.2.0文件到slave2节点

三、启动Spark集群

首先启动Hadoop-2.2.0集群&＃xff0c;然后在spark-1.0.1-bin-2.2.0根目录下启动Spark集群

对于slave1节点

 对于slave2节点

四、查看信息

1、进入Spark集群的Web页面

在master节点上&＃xff0c;浏览器访问&＃xff1a; http://master:8080

2、控制台查看

进入{SPARK_HOME}/bin目录&＃xff0c;使用 spark-shell 控制台

3、Web查看SparkUI

在master节点&＃xff0c;浏览器进入 http://master:4040

五、停止Spark集群

参考&＃xff1a;

1、http://spark.apache.org/docs/latest/running-on-yarn.html

2、http://spark.apache.org/docs/latest/configuration.html