Spark：快速的通用的分布式计算框架

---

 

　　概述和特点：

　　　　1) Speed,（开发和执行）速度快。基于内存的计算；DAG（有向无环图）的计算引擎；基于线程模型；

　　　　2）Easy of use,易用 。 多语言（Java,python,scala,R）; 多种计算API可调用；可在交互式模式下运行；

　　　　3）Generality  通用。可以一站式解决多个不同场景的应用业务

　　　　　　　　Spark Streaming :用来做流处理

　　　　　　　　MLlib ： 用于机器学习

　　　　　　　　GraphX：用来做图形计算的

　　　　4） Runs Everywhere  ：

　　　　　　（1）可以运行在Hadoop的yarn，Mesos,standalone（Sprk自带的）这些资源管理和调度的程序之上

　　　　　　（2） 可以连接包括HDFS,Cassandra,HBase,S3这些数据源　

　　产生背景：

　　　　1）MapReduce 局限性

　　　　　　（1）代码繁琐（官网有WordOCunt案例）

　　　　　　（2）效率低下：

　　　　　　　　　　a) 有结果写入磁盘，降低效率；

　　　　　　　　　　b) 通过进程模型，销毁创建效率低

　　　　　　（3）只能支持map和reduce方法

　　　　　　（4） 不适合迭代多次，交互式，流水的处理

　　　　2） 框架的多样化

　　　　　　（1）批处理（离线）：MapReduce,Hive,Pig

　　　　　　（2）流式处理（实时）：Storm,Jstorm

　　　　　　（3）交互式计算 ：Impala

　　　　综上：　框架的多样化导致生产时所需要的框架繁多，学习运维成本较高，那么有没有一种框架，

　　　　　　既能执行效率高，学习成本低，还能支持批处理和流式处理与交互计算呢？

　　　　结论：Spark诞生

　　Spark与Hadoop对比：

　　　　　　Hadoop生态系统

　　　　　　　　　　Hive:数据仓库

　　　　　　　　　　R:数据分析

　　　　　　　　　　Mahout:机器学习库

　　　　　　　　　　pig：脚本语言，跟Hive类似

　　　　　　　　　　Oozie:工作流引擎，管理作业执行顺序

　　　　　　　　　　Zookeeper:用户无感知，主节点挂掉选择从节点作为主的

　　　　　　　　　　Flume:日志收集框架

　　　　　　　　　　Sqoop:数据交换框架，例如：关系型数据库与HDFS之间的数据交换

　　　　　　　　　　Hbase : 海量数据中的查询，相当于分布式文件系统中的数据库

　　　　　BDAS：Berkeley Data Analytics Stack(伯克利数据分析平台)

　　　  Spark与Hadoop生态圈对比

 　　　　注意：在对实时的查询来说，Spark只是一个快速的分布式计算框架，所以没有存储的框架，但是可以连接多个存储的数据源

　　　　Hadoop与Spark对比

　　　　MapReduce与Spark对比：

　　　　　　　　MapReduce:若进行多次计算，MP则需要将上一次执行结果写入到磁盘，叫做数据落地

　　　　　　　　Spark：直接将存储在内存中的结果拿来使用，没有数据落地

　　Spark与Hadoop的协作性

Spark概述和与Hadoop对比