Spark系列（二）——Spark开发环境搭建

一、安装Spark

1.1 下载并解压

官方下载地址&＃xff1a;http://spark.apache.org/downloads.html &＃xff0c;选择 Spark 版本和对应的 Hadoop 版本后再下载&＃xff1a;

解压安装包&＃xff1a;

# tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz

1.2 配置环境变量

# vim /etc/profile

添加环境变量&＃xff1a;

export SPARK_HOME&＃61;/usr/app/spark-2.2.3-bin-hadoop2.6
export PATH&＃61;${SPARK_HOME}/bin:$PATH

使得配置的环境变量立即生效&＃xff1a;

# source /etc/profile

1.3 Local模式

Local 模式是最简单的一种运行方式&＃xff0c;它采用单节点多线程方式运行&＃xff0c;不用部署&＃xff0c;开箱即用&＃xff0c;适合日常测试开发。

# 启动spark-shell
spark-shell --master local[2]

• local&＃xff1a;只启动一个工作线程&＃xff1b;
• local[k]&＃xff1a;启动 k 个工作线程&＃xff1b;
• local[*]&＃xff1a;启动跟 cpu 数目相同的工作线程数。

进入 spark-shell 后&＃xff0c;程序已经自动创建好了上下文 SparkContext&＃xff0c;等效于执行了下面的 Scala 代码&＃xff1a;

val conf &＃61; new SparkConf().setAppName("Spark shell").setMaster("local[2]")
val sc &＃61; new SparkContext(conf)

二、词频统计案例

安装完成后可以先做一个简单的词频统计例子&＃xff0c;感受 spark 的魅力。准备一个词频统计的文件样本 wc.txt&＃xff0c;内容如下&＃xff1a;

hadoop,spark,hadoop
spark,flink,flink,spark
hadoop,hadoop

在 scala 交互式命令行中执行如下 Scala 语句&＃xff1a;

val file &＃61; spark.sparkContext.textFile("file:///usr/app/wc.txt")
val wordCounts &＃61; file.flatMap(line &＃61;> line.split(",")).map((word &＃61;> (word, 1))).reduceByKey(_ &＃43; _)
wordCounts.collect

执行过程如下&＃xff0c;可以看到已经输出了词频统计的结果&＃xff1a;

同时还可以通过 Web UI 查看作业的执行情况&＃xff0c;访问端口为 4040&＃xff1a;

三、Scala开发环境配置

Spark 是基于 Scala 语言进行开发的&＃xff0c;分别提供了基于 Scala、Java、Python 语言的 API&＃xff0c;如果你想使用 Scala 语言进行开发&＃xff0c;则需要搭建 Scala 语言的开发环境。

3.1 前置条件

Scala 的运行依赖于 JDK&＃xff0c;所以需要你本机有安装对应版本的 JDK&＃xff0c;最新的 Scala 2.12.x 需要 JDK 1.8&＃43;。

3.2 安装Scala插件

IDEA 默认不支持 Scala 语言的开发&＃xff0c;需要通过插件进行扩展。打开 IDEA&＃xff0c;依次点击 File &＃61;> settings&＃61;> plugins 选项卡&＃xff0c;搜索 Scala 插件 (如下图)。找到插件后进行安装&＃xff0c;并重启 IDEA 使得安装生效。

3.3 创建Scala项目

在 IDEA 中依次点击 File &＃61;> New &＃61;> Project 选项卡&＃xff0c;然后选择创建 Scala—IDEA 工程&＃xff1a;

3.4 下载Scala SDK

1. 方式一

此时看到 Scala SDK 为空&＃xff0c;依次点击 Create &＃61;> Download &＃xff0c;选择所需的版本后&＃xff0c;点击 OK 按钮进行下载&＃xff0c;下载完成点击 Finish 进入工程。

2. 方式二

方式一是 Scala 官方安装指南里使用的方式&＃xff0c;但下载速度通常比较慢&＃xff0c;且这种安装下并没有直接提供 Scala 命令行工具。所以个人推荐到官网下载安装包进行安装&＃xff0c;下载地址&＃xff1a;https://www.scala-lang.org/download/

这里我的系统是 Windows&＃xff0c;下载 msi 版本的安装包后&＃xff0c;一直点击下一步进行安装&＃xff0c;安装完成后会自动配置好环境变量。

由于安装时已经自动配置好环境变量&＃xff0c;所以 IDEA 会自动选择对应版本的 SDK。

3.5 创建Hello World

在工程 src 目录上右击 New &＃61;> Scala class 创建 Hello.scala。输入代码如下&＃xff0c;完成后点击运行按钮&＃xff0c;成功运行则代表搭建成功。

3.6 切换Scala版本

在日常的开发中&＃xff0c;由于对应软件&＃xff08;如 Spark&＃xff09;的版本切换&＃xff0c;可能导致需要切换 Scala 的版本&＃xff0c;则可以在 Project Structures 中的 Global Libraries 选项卡中进行切换。

3.7 可能出现的问题

在 IDEA 中有时候重新打开项目后&＃xff0c;右击并不会出现新建 scala 文件的选项&＃xff0c;或者在编写时没有 Scala 语法提示&＃xff0c;此时可以先删除 Global Libraries 中配置好的 SDK&＃xff0c;之后再重新添加&＃xff1a;

另外在 IDEA 中以本地模式运行 Spark 项目是不需要在本机搭建 Spark 和 Hadoop 环境的。

更多大数据系列文章可以参见 GitHub 开源项目&＃xff1a; 大数据入门指南