spark集群部署

1.下载安装scala
scala下载地址
我用的是scala-2.11.8.tgz
然后解压

sudo tar -zvxf scala-2.11.8.tgz /usr/local
cd /usr/local
sudo mv scala-2.11.8 ./scala
sudo chown -R master ./scala

配置scala环境变量

sudo vim /etc/profile

添加配置

export SCALA_HOME&＃61;/usr/local/scala
export PATH&＃61;$PATH:$SCALA_HOME/bin

下载spark
spark下载地址&＃xff08;选择合适的spark版本&＃xff0c;需要支持你安装hadoop的版本&＃xff0c;我使用的是 spark-1.6.0-bin-hadoop2.6.tgz&＃xff09;
解压

tar –zvxf spark-1.6.0-bin-hadoop2.6.tgz –C /usr/local/spark/

配置spark环境变量

export SPARK_HOME&＃61;/usr/local/spark
export PATH&＃61;$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

是环境变量生效

source /etc/profile

注&＃xff1a;环境变量每个主机上都要配置

在master上修改spark的配置文件&＃xff08;都在/usr/local/spark/conf/路径下&＃xff09;

修改spark-env.sh配置文件&＃xff1a;
由于没有spark-env.sh文件&＃xff0c;需要执行下面命令&＃xff0c;创建一个spark-env.sh文件

cp spark-env.sh.template spark-env.sh

添加配置

export SCALA_HOME&＃61;/usr/local/scalaexport JAVA_HOME&＃61;/usr/lib/jvm/java-7-openjdk-amd64export HADOOP_HOME&＃61;/usr/local/hadoopexport YARN_CONF_DIR&＃61;$HADOOP_HOME/etc/hadoop
export SPARK_JAR&＃61;/usr/local/spark/lib/spark-assembly-1.6.0-hadoop2.6.0.jar

修改slaves文件&＃xff0c;将计算节点的主机名添加到该文件&＃xff0c;一行一个&＃xff0c;例如&＃xff1a;

master
slave1


将scala&＃xff0c;spark发送到slave1节点

scp –r scala slave1:/usr/local/ scp –r spark slave1:/usr/local/

启动spark集群

sbin/start-master.sh
sbin/start-slaves.sh