作者:ii贵妇狗_156 | 来源:互联网 | 2023-05-19 01:59
- 序言
- 配置网络环境
- 更新安装基础软件
- 安装Spark 20
- 单机模式下运行
序言
预先以Minimal方式在VMVare虚拟机内安装 CentOS7。
配置网络环境
- 获得网络配置信息。VMWare: 编辑->虚拟网络编辑器->VMnet信息->NAT 设置。 记下 子网IP, 子网掩码,网管IP信息。
![Virtual Network in VMVare](https://www.#.com/go/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTYwOTE1MTkxOTQ0NzAy)
- 编辑CentOS网络配置文件。
vm /etc/sysconfig/network-scripts/ifcfg-eno16777736
![centos ifcfg file](https://www.#.com/go/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTYwOTE1MTkyODE0ODc5)
- 移除rule 文件
shell
rm /etc/udev/rules.d/70-persistent-net.rules
- 修改主机名
hostname hangzhi
vi /etc/hostname #替换localhost.localdomian 为hangzhi
vi /etc/hosts #替换localhost.localdomian 为hangzhi
- 重启虚拟机
reboot
更新/安装基础软件
更新yum.
yum upgrade
Install tools
yum install weget
安装Spark 2.0
安装配置OpenSDK
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
source /etc/profile
安装配置scala
vim /etc/profile
export SCALA_HOME=/usr/lib/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
source /etc/profile
下载并配置 spark 2.0
cd ~
wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz
tar -zxf spark-2.0.0-bin-hadoop2.7.tgz
vim /etc/profile
export SPARK_HOME=$HOME/spark-2.0.0-bin-hadoop2.7
单机模式下运行 cd $SPARK_HOME
./bin/run-example SparkPi
![单机测试](https://www.#.com/go/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTYwOTE1MjMwNzQ0MDgz)
引用:
http://www.scala-lang.org/
http://spark.apache.org/
http://www.tuicool.com/articles/Vza63m
http://shiyanjun.cn/archives/696.html