Spark的RDD工作机制原理以及实例详解

RDD工作机制

RDD指的是一个只读的&＃xff0c;可分区的分布式数据集&＃xff0c;这个数据集的全部或部分可以缓存在内存中&＃xff0c;在多次计算间重用&＃xff0c;是Spark进行大数据处理计算的核心&＃xff0c;在设计算法的时候&＃xff0c;就是在设计RDD的操作&＃xff0c;那么下面通过WordCount实例来详细介绍RDD的工作机制。关于RDD的特性和理论请参考“Spark 入门文档”。

1、在介绍RDD工作原理之前再回顾一下WordCount的例子&＃xff1a;

   第一步&＃xff1a;创建saprk的配置对象SparkConf

          val conf &＃61; new SparkConf()

          conf.setAppName("My First Spark App!").setMaster("local")

   第二步&＃xff1a;创建SparkContext对象

          val sc  &＃61; new SparkContext(conf)

   第三步&＃xff1a;根据具体数据来源&＃xff08;HDFS&＃xff0c;Hbase等&＃xff09;通过SparkContext来创建RDD

          val lines &＃61; sc.textFile(“hdfs://{文件路径}/ helloSpark.txt”)

   第四步&＃xff1a;将每行字符拆分为单个单词

          val words &＃61; lines.flatMap { line &＃61;>line.split(" ") }

   第五步&＃xff1a;在单词拆分的基础上对每个单词实例计数为1

          val pairs &＃61; lines.map{word &＃61;> (word, 1)}

   第六步&＃xff1a;在每个单词实例为1的基础之上统计每个单词出现的总次数

          val wordcount &＃61; pairs.reduceByKey(_&＃43;_)

   第七步&＃xff1a;输出统计结果

wordcount.foreach(wordNumberPair&＃61;> println(wordNumberPair._1 &＃43; ":" &＃43; wordNumberPair._2))

sc.stop()

2、根据上述的程序图解spark RDD中数据流动过程

补充说明&＃xff1a;第一张图主要描述的是RDD的transformation&＃xff0c;第二张图描述的是action。在第一张图中hadoopRDD的方块内的数据1&＃xff0c;数据2&＃xff0c;数据3表示把文件系统中helloSpark.txt文件的内容分到了三个工作节点上去。&＃xff08;helloSpark.txt文件内容有四行每行分别是&＃xff1a;helloSpark &＃xff1b;hello scala&＃xff1b;hello Hadoop &＃xff1b; hello flink。&＃xff09;在第一张图中所有的map操作都是在各自自己的节点上进行的计算&＃xff0c;当执行reduceBykey操作是进行了shuffle通信&＃xff0c;收集各个节点上的数据然后进行单词统计。最后一个RDD是为存储结果而准备的。在shuffleRDD中只有两个节点这个是由分区策略决定的&＃xff0c;具体需要深入学习。