从零开始学习Spark（一）环境配置，实现WordCount

本人准备参加腾讯实习，有关大数据与机器学习。由于本人对大数据一无所知，因此准备由Spark作为切入口开始自学，一步步完成机器学习各个算法在Spark上的应用。自学过程中的点点滴滴都会记录在简书上，希望可以与大家交流，共同学习。

配环境永远是开始学习一个新领域最难的一部分，我花了两天时间配置成功了MacOS下的Spark开发环境，实现了基于Scala与sbt的WordCount，下面来一步步把步骤记录下来。

第1步：配置sbt在IntelliJ下编程环境

打开terminal

查看java版本，由于MacOS自带java，因此无需安装

$ java -version


安装sbt，这是编译scala的工具

$ brew install sbt


查看sbt与scala信息

$ sbt about


下载安装IntelliJ

安装Scala Plugin：打开IntelliJ，在选择项目界面，选择Configure → Plugins → Install JetBrains Plugins，搜索Scala并安装

选择默认SDK：Configure → Project defaults → Project structure，SDK选择Java1.8

至此scala在IntelliJ下的开发环境配置完毕

第2步：配置Spark工具包

下载Spark：下载地址，注意如果已经安装了Hadoop的话要下载对应的版本，下面的命令可以查看Hadoop版本

$ hadoop version


下载完毕后解压并将其放在一个目录下，假设放在/usr/shar/spark-2.1.0-bin-hadoop2.7，那么我们往环境变量中添加Spark方便以后使用

$ vim .bash_profile


加入一行，保存后重启terminal即可

export SPARK_HOME=/usr/shar/spark-2.1.0-bin-hadoop2.7


至此，Spark环境配置完毕，是不是非常方便

第3步：命令行形式操控Spark

(1) Python Spark

terminal中执行命令

$ $SPARK_HOME/bin/pyspark


看到帅气的Spark logo就表示已经成功了

美中不足的是自带的python shell没有自动补全等功能，使用ipython可以完美解决

首先，安装ipython

$ pip install ipython


运行Spark

$ PYSPARK_DRIVER_PYTHON=ipython $SPARK_HOME/bin/pyspark


让我们来使用一些Spark的API来尝试一些命令

>>> lines = sc.textFile("README.md") # 创建一个名为lines的RDD
>>> lines.count() # 统计RDD中的元素个数
127
>>> lines.first()


(2) Scala Spark Shell

$ $SPARK_HOME/bin/spark-shell


同样完成一下行数统计的小应用

scala> val lines = sc.textFile("README.md") // 创建一个名为lines的RDD
lines: spark.RDD[String] = MappedRDD[...]
scala> lines.count() // 统计RDD中的元素个数
res0: LOng= 127
scala> lines.first() // 这个RDD中的第一个元素，也就是README.md的第一行
res1: String = # Apache Spark


第4步：构建Spark独立应用，WordCount

上面的是shell形式下调用Spark，而现在进入更为重要的建立独立项目，我看了很多教程，但是每个教程都有一步两步讲的含糊不清，或者就是版本太老，留下了许多坑。现在我总结了一个可以跑通的例子。

首先，IntelliJ下创建sbt项目：打开IntelliJ → Create New Project → Scala → sbt → ProjectName = wordcount → Create

修改build.sbt，在最后加入一行Spark的包。注意scalaVersion一定要改成2.11，因为Spark2.1.0是基于Scala2.11的，默认的2.12会报错！

name := "wordcount"
version := "1.0"
scalaVersion := "2.11.7"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"


让我们先来看一下sbt项目的目录结构

├── build.sbt
├── project
│ ├── build.properties
│ ├── plugins.sbt
│ ├── project
│ └── target
├── src
│ ├── main
│ │ ├── java
│ │ ├── resources
│ │ ├── scala
│ │ └── scala-2.12
│ └── test
│ ├── java
│ ├── resources
│ ├── scala
│ └── scala-2.12
└── target
├── resolution-cache
├── scala-2.12
└── streams


我们需要写的代码主要放在/src/main/scala里面

下一步，我们开始写我们的代码，具体细节不用深究，本章节只是为了配通环境

新建目录/src/main/scala/com/oreilly/learningsparkexamples/mini/scala

添加第一个文件/src/main/scala/com/oreilly/learningsparkexamples/mini/scala/BasicMap.scala

/**
* Illustrates a simple map in Scala
*/
package com.oreilly.learningsparkexamples.scala
import org.apache.spark._
object BasicMap {
def main(args: Array[String]) {
val master = args.length match {
case x: Int if x > 0 => args(0)
case _ => "local"
}
val sc = new SparkContext(master, "BasicMap", System.getenv("SPARK_HOME"))
val input = sc.parallelize(List(1,2,3,4))
val result = input.map(x => x*x)
println(result.collect().mkString(","))
}
}


添加第二个文件/src/main/scala/com/oreilly/learningsparkexamples/mini/scala/WordCount.scala

/**
* Illustrates flatMap + countByValue for wordcount.
*/
package com.oreilly.learningsparkexamples.mini.scala
import org.apache.spark._
import org.apache.spark.SparkContext._
object WordCount {
def main(args: Array[String]) {
val inputFile = args(0)
val outputFile = args(1)
val cOnf= new SparkConf().setAppName("wordCount")
// Create a Scala Spark Context.
val sc = new SparkContext(conf)
// Load our input data.
val input = sc.textFile(inputFile)
// Split up into words.
val words = input.flatMap(line => line.split(" "))
// Transform into word and count.
val counts = words.map(word => (word, 1)).reduceByKey{case (x, y) => x + y}
// Save the word count back out to a text file, causing evaluation.
counts.saveAsTextFile(outputFile)
}
}


点击右上角的Build Project图标就编译成功了，如果没有报错，那么恭喜你，环境配置成功了。

第5步：使用spark-submit来运行应用

spark-submit脚本可以为我们配置 Spark 所要用到的一系列环境变量。

首先需要将我们编译好的项目打包，最方便的方式就是进入wordcount目录下，输入

$ sbt package


打包好的文件就在/wordcount/target/scala-2.11/wordcount_2.11-1.0.jar

接下来就是利用Spark为我们提供的spark-submit来运行应用了，进入wordcount目录下

$ $SPARK_HOME/bin/spark-submit \
--class com.oreilly.learningsparkexamples.mini.scala.WordCount \
./target/scala-2.11/wc_2.11-1.0.jar \
./input.txt ./wordcounts


下面来简单解释一下上面的命令，--class为使用的Class，后面为jar包的路径，最后两个为wordcount的两个参数，分别为输入文件，和输出文件路径

我们的输入文件\wordcount\input.txt是这样的

one two three four
four five six
one five six
one one three


运行后，如果成功会在\wordcount\wordcounts\part-00000中看到

(two,1)
(one,4)
(six,2)
(three,2)
(five,2)
(four,2)


至此，我们的整个环境都配置成功啦，有问题请留言

Spark官方文档Quick-start

用SBT编译Spark的WordCount程序

Big Data Analysis with Scala and Spark 洛桑联邦理工学院 &＃8211; Coursera