Spark认识环境搭建运行第一个Spark程序

1.Spark是什么

Spark是一个快速且通用的集群计算平台

2.Spark的特点

1&＃xff09;Spark是快速的

   Spark扩充了流行的Mapreduce计算模型

   Spark是基于内存的计算

2&＃xff09;Spark是通用的

    Spark的设计容纳了其它分布式系统拥有的功能

    批处理&＃xff0c;迭代式计算&＃xff0c;交互查询和流处理等

3&＃xff09;Spark是高度开放的

    Spark提供了Python,Java,Scala,SQL的API和丰富的内置库。

    Spark和其它的大数据工具整合的很好&＃xff0c;包括hadoop,kafka等

3.Spark的组件

Spark包括多个紧密集成的组件

 Spark Core:

　　包含Spark的基本功能&＃xff0c;包含任务调度&＃xff0c;内存管理&＃xff0c;容错机制等

　　内部定义了RDDs(弹性分布式数据集)

　　提供了很多APIs来创建和操作这些RDDs

　　应用场景&＃xff0c;为其他组件提供底层的服务

Spark SQL:

 　　是Spark处理结构化数据的库&＃xff0c;就像Hive SQL,Mysql一样

　　应用场景&＃xff0c;企业中用来做报表统计

Spark Streaming:

　　是实时数据流处理组件&＃xff0c;类似Storm

　　Spark Streaming提供了API来操作实时流数据

　　应用场景&＃xff0c;企业中用来从Kafka接收数据做实时统计

MLlib:

       一个包含通用机器学习功能的包&＃xff0c;Machine learning lib

       包含分类&＃xff0c;聚类&＃xff0c;回归等&＃xff0c;还包括模型评估和数据导入。

　　MLlib提供的上面这些方法&＃xff0c;都支持集群上的横向扩展。

　　应用场景&＃xff0c;机器学习。

Graphx:

　　是处理图的库&＃xff08;例如&＃xff0c;社交网络图&＃xff09;&＃xff0c;并进行图的并行计算。

　　像Spark Streaming,Spark SQL一样&＃xff0c;它也继承了RDD API。

　　它提供了各种图的操作&＃xff0c;和常用的图算法&＃xff0c;例如PangeRank算法。

　　应用场景&＃xff0c;图计算。

Cluster Managers:

　　就是集群管理&＃xff0c;Spark自带一个集群管理是单独调度器。

　　常见集群管理包括Hadoop YARN,Apache Mesos

4.紧密集成的优点

　　Spark底层优化了&＃xff0c;基于Spark底层的组件也得到了相应的优化。

　　紧密集成&＃xff0c;节省了各个组件组合使用时的部署、测试等时间。

　　向Spark增加新的组件时&＃xff0c;其它组件&＃xff0c;可立刻享用新组件的功能。

5.Spark与Hadoop的比较

　　Hadoop应用场景&＃xff1a;离线处理、对时效性要求不高

　　Spark应用场景&＃xff1a;时效性要求高的场景、机器学习等领域

　　Doug Cutting的观点&＃xff1a;这是生态系统&＃xff0c;每个组件都有其作用&＃xff0c;各善其职即可。Spark不具有HDFS的存储能力&＃xff0c;要借助HDFS等持久化数据。大数据将会孕育出更多的新技术。

6.Spark运行环境

　　Spark是Scala写的&＃xff0c;运行在JVM上&＃xff0c;所以运行环境Java7&＃43;

　　如果使用Python API,需要安装Python2.6&＃43;或者Python3.4&＃43;

　　版本对应&＃xff1a;Spark1.6.2 -  Scala2.10    Spark2.0.0 -  Scala2.11

7.Spark安装

　　Spark下载地址&＃xff1a;http://spark.apache.org/downloads.html     注&＃xff1a;搭Spark不需要Hadoop,如有hadoop集群&＃xff0c;可下载相应的版本。

　　这里安装在CentOS6.5虚拟机上&＃xff0c;将下载好的文件上传虚拟机&＃xff0c;并执行解压&＃xff1a;tar -zxvf spark-2.0.1-bin-hadoop2.6.tgz

　　Spark目录&＃xff1a;

　　　　bin包含用来和Spark交互的可执行文件&＃xff0c;如Spark shell。

　　　　examples包含一些单机Spark job,可以研究和运行这些例子。

　　Spark的Shell:

　　　　Spark的shell能够处理分布在集群上的数据。

　　　　Spark把数据加载到节点的内存中&＃xff0c;因此分布式处理可在秒级完成。

　　　　快速使用迭代式计算&＃xff0c;实时查询、分析一般能够在shells中完成。

　　　　Spark提供了Python shells和Scala shells。

　　这里以Scala shell为例&＃xff0c;演示读取本地文件并进行操作&＃xff1a;

　　　　进入Scala shell:./spark-shell

　　　　创建测试文件helloSpark并输入内容&＃xff1a;

　　　　输入val lines&＃61;sc.textFile("/home/lucy/hellospark") 加载文件内容&＃xff0c;输入lines.count()进行统计行数&＃xff1a;    &＃xff08; 注&＃xff1a;sc为spark content&＃xff09;

　　ssh的配置&＃xff1a;&＃xff08;ssh localhost需要输入密码&＃xff0c;这在运行spark程序时是不可以的&＃xff09;

　　　　ssh-keygen &＃xff08;生成秘钥&＃xff09;

　　　　.ssh目录下cat xxx_rsa.pub> authorized_keys

　　　　chmod 600 authorized_keys

8.Spark开发环境搭建

　　Scala 下载地址: http://www.scala-lang.org/download/2.11.6.html   注&＃xff1a;默认安装选项会自动配置环境变量,安装路径不能有空格。

　　IntelliJ IDEA 下载地址&＃xff1a;https://www.jetbrains.com/idea/

　　注册码地址&＃xff1a;http://idea.lanyus.com

　　由于这里下载的ideaIU-15.0.2.exe&＃xff0c;已经包含有Scala插件&＃xff0c;如果不包含需要下载。查看是否已有scala插件可以新建项目&＃xff0c;打开Files->settings选择Plugins,输入scala查看&＃xff1a;

9.编写第一个Scala程序

　　依次点击File->New->Project&＃xff0c;选择Scala->SBT&＃xff0c;下一步&＃xff0c;打开如下窗口&＃xff1a;

　　这里Scala选择为2.11.6&＃xff0c;创建完成后会进行初始化操作&＃xff0c;自动下载jar包等。下载时常看具体网络情况。待所有进度条完成后&＃xff0c;项目目录已经出来了&＃xff0c;如下&＃xff1a;

　　编辑build.sbt:

　　name :&＃61; "LearnSpark"

　　version :&＃61; "1.0"

　　scalaVersion :&＃61; "2.11.1"

　　libraryDependencies &＃43;&＃61; "org.apache.spark" % "spark-core_2.11" % "2.0.2"

　　编辑完成后&＃xff0c;点击刷新&＃xff0c;后台自动下载对应的依赖&＃xff1a;

　　src->scala右击新建scala类WordCount

import org.apache.spark.{SparkContext, SparkConf}
/*** Created by Lucy on 2017/7/4.*/
object WordCount {def main(args: Array[String]) {val conf&＃61;new SparkConf().setAppName("wordcount")val sc&＃61;new SparkContext(conf)val input&＃61;sc.textFile("/home/lucy/helloSpark")val lines&＃61;input.flatMap(line&＃61;>line.split(" "))val count&＃61;lines.map(word&＃61;>(word,1)).reduceByKey{case (x,y)&＃61;>x&＃43;y}val output&＃61;count.saveAsTextFile("/home/lucy/hellosparkRes")}
}

　　代码编写完成后&＃xff0c;进行打包&＃xff08;配置jar包&＃xff0c;build&＃xff09;:

　　配置jar包&＃xff1a;File->Project Structure&＃xff0c;选择Artifacts&＃xff0c;点击&＃43;号&＃xff1a;

　　这里不打包依赖。配置jar包完成后&＃xff0c;Build->Build Artifacts,等待build完成。

10.运行第一个Spark程序

　　这里需要先启动集群&＃xff1a;

　　启动master:  ./sbin/start-master.sh

　　启动worker:  ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost:7077  

　　　　　　　　这里的地址为&＃xff1a;启动master后,在浏览器输入localhost:8080,查看到的master地址

　　启动成功后&＃xff0c;jps查看进程&＃xff1a;

　　接下来执行提交命令&＃xff0c;将打好的jar包上传到linux目录&＃xff0c;jar包在项目目录下的out\artifacts下。

　　提交作业&＃xff1a; ./bin/spark-submit --master spark://localhost:7077 --class WordCount /home/lucy/learnspark.jar

　　可以在4040端口查看job进度&＃xff1a;

　　查看结果&＃xff1a;

　　由于按照空格分割字符串&＃xff0c;所以这里将Spark! 视为一个单词。至此&＃xff0c;任务运行结束&＃xff01;