Spark安装和使用

【前言】
Spark入门安装和初步的使用

1 安装

下载解压&＃xff08;我使用的是 spark-2.4.5-bin-hadoop2.7.tgz 版本&＃xff0c;下载地址&＃xff09;

[hadoop&＃64;hadoop05 ~]$ tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C apps


#export SCALA_HOME&＃61;/usr/local/bigdata/scala
export JAVA_HOME&＃61;/usr/java/jdk1.8.0_161
export HADOOP_HOME&＃61;/home/hadoop/apps/hadoop-2.7.3
export HADOOP_CONF_DIR&＃61;$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP&＃61;Master
SPARK_LOCAL_DIRS&＃61;/home/hadoop/apps/spark-2.4.5-bin-hadoop2.7
SPARK_DRIVER_MEMORY&＃61;512M