001Spark的简介以及入门

1.hadoop&＃xff0c;spark&＃xff0c;Flink的比较　　

　　MapReduce: 分布式的计算框架 -> Hive
　　　问题&＃xff1a;
　　　　shuffle&＃xff1a;大文件的排序&＃43;读写磁盘&＃43;网络传输 &＃61;> 比较慢
　　　　只有两种执行算子/API: MapTask(数据转换&＃43;过滤)和ReduceTask(数据聚合) &＃61;&＃61;> 定制化稍微有点差
　　　　不适合迭代式的计算
　　　　对于需要快速执行的产生结果的应用场景不适合
　　Spark&＃xff1a;为了解决MapReduce执行慢、不适合迭代执行的问题
　　Flink&＃xff1a;类似于spark的基于内存的计算框架

 　  Hadoop的存活&＃xff1a;因为使用的机器比较便宜&＃xff0c;更适合批量计算。

2.学习方式

　　spark案例&＃xff1a;examples文件夹中
　　spark源码&＃xff1a;一定要回看spark源码&＃xff0c;至少常用的必须知道&＃xff0c;比如&＃xff1a;RDD、SparkContext、DStream....
　　官网&＃xff1a;http://spark.apache.org/
　　1.6.0帮助文档&＃xff1a;http://spark.apache.org/docs/1.6.0/
　　官方博客&＃xff1a;https://databricks.com/blog

3.官网

　　http://spark.apache.org/

4.spark特点&＃xff08;在官网的首页&＃xff09;

　　快
　　简单/入手快
　　公用性/普遍性
　　可以运行在任何地方&＃xff1a;local、yarn、standalone(类似于yarn的一个资源管理框架&＃xff0c;是spark的一个模块)、mesos(apache顶级项目&＃xff0c;类似yarn的一个资源管理框架)

5.spark结构&＃xff08;生态圈&＃xff09;

　　BDAS: 伯克利数据分析栈
　　起源&＃xff1a;加州大学伯克利分校的AMP实验室开源的一个计算框架
　　结构&＃xff1a;
　　　　SparkCore: 核心部分
　　　　SparkSQL: Spark中交互式处理模块
　　　　SparkStreaming: Spark中流式数据处理的模块
　　　　SparkMLib&＃xff1a;Spark机器学习相关模块 &＃61;> Mahout
　　　　SparkGraphX: Spark中图形计算的模块

5.Hadoop与Spark的比较