大数据框架发展史

         这几年大数据的飞速发展&＃xff0c;出现了很多热门的开源社区&＃xff0c;其中著名的有 Hadoop、Storm&＃xff0c;以及后来的 Spark&＃xff0c;他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河&＃xff0c;也以内存为赌注&＃xff0c;赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink&＃xff0c;也就在这个时候默默的发展着。
         在国外一些社区&＃xff0c;有很多人将大数据的计算引擎分成了 4 代&＃xff0c;当然&＃xff0c;也有很多人不会认同。我们先姑且这么认为和讨论。

         首先第一代的计算引擎&＃xff0c;无疑就是 Hadoop 承载的 MapReduce。它将计算分为两个阶段&＃xff0c;分别为 Map 和 Reduce。对于上层应用来说&＃xff0c;就不得不想方设法去拆分算法&＃xff0c;甚至于不得不在上层应用实现多个 Job 的串联&＃xff0c;以完成一个完整的算法&＃xff0c;例如迭代计算。

介绍

         MapReduce是一种编程模型&＃xff0c;用于大规模数据集&＃xff08;大于1TB&＃xff09;的并行运算。概念"Map&＃xff08;映射&＃xff09;"和"Reduce&＃xff08;归约&＃xff09;"&＃xff0c;是它们的主要思想&＃xff0c;都是从函数式编程语言里借来的&＃xff0c;还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下&＃xff0c;将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map&＃xff08;映射&＃xff09;函数&＃xff0c;用来把一组键值对映射成一组新的键值对&＃xff0c;指定并发的Reduce&＃xff08;归约&＃xff09;函数&＃xff0c;用来保证所有映射的键值对中的每一个共享相同的键组。

• 批处理
• Mapper、Reducer

         由于这样的弊端&＃xff0c;催生了支持 DAG 框架的产生。因此&＃xff0c;支持 DAG 的框架被划分为第二代计算引擎。如 Tez 以及更上层的 Oozie。这里我们不去细究各种 DAG 实现之间的区别&＃xff0c;不过对于当时的 Tez 和 Oozie 来说&＃xff0c;大多还是批处理的任务。

介绍

         Tez是Apache开源的支持DAG作业的计算框架&＃xff0c;它直接源于MapReduce框架&＃xff0c;核心思想是将Map和Reduce两个操作进一步拆分&＃xff0c;即Map被拆分成Input、Processor、Sort、Merge和Output&＃xff0c; Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等&＃xff0c;这样&＃xff0c;这些分解后的元操作可以任意灵活组合&＃xff0c;产生新的操作&＃xff0c;这些操作经过一些控制程序组装后&＃xff0c;可形成一个大的DAG作业。

• 批处理
• 1个Tez &＃61; MR(1) &＃43; MR(2) &＃43; … &＃43; MR(n)
• 相比MR效率有所提升

         接下来就是以 Spark 为代表的第三代的计算引擎。第三代计算引擎的特点主要是 Job 内部的 DAG 支持&＃xff08;不跨越 Job&＃xff09;&＃xff0c;以及强调的实时计算。在这里&＃xff0c;很多人也会认为第三代计算引擎也能够很好的运行批处理的 Job。

介绍

Spark是加州大学伯克利分校AMP实验室&＃xff08;Algorithms, Machines, and People Lab&＃xff09;开发的通用内存并行计算框架

Spark使用Scala语言进行实现&＃xff0c;它是一种面向对象、函数式编程语言&＃xff0c;能够像操作本地集合对象一样轻松地操作分布式数据集&＃xff0c;具有以下特点。

1. 运行速度快&＃xff1a;Spark拥有DAG执行引擎&＃xff0c;支持在内存中对数据进行迭代计算。官方提供的数据表明&＃xff0c;如果数据由磁盘读取&＃xff0c;速度是Hadoop MapReduce的10倍以上&＃xff0c;如果数据从内存中读取&＃xff0c;速度可以高达100多倍。
2. 易用性好&＃xff1a;Spark不仅支持Scala编写应用程序&＃xff0c;而且支持Java和Python等语言进行编写&＃xff0c;特别是Scala是一种高效、可拓展的语言&＃xff0c;能够用简洁的代码处理较为复杂的处理工作。
3. 通用性强&＃xff1a;Spark生态圈即BDAS&＃xff08;伯克利数据分析栈&＃xff09;包含了Spark Core、Spark SQL、Spark Streaming、MLLib和GraphX等组件&＃xff0c;这些组件分别处理Spark Core提供内存计算框架、SparkStreaming的实时处理应用、Spark SQL的即席查询、MLlib或MLbase的机器学习和GraphX的图处理。
4. 随处运行&＃xff1a;Spark具有很强的适应性&＃xff0c;能够读取HDFS、Cassandra、HBase、S3和Techyon为持久层读写原生数据&＃xff0c;能够以Mesos、YARN和自身携带的Standalone作为资源管理器调度job&＃xff0c;来完成Spark应用程序的计算

• 批处理、流处理、SQL高层API支持
• 自带DAG
• 内存迭代计算、性能较之前大幅提升

         随着第三代计算引擎的出现&＃xff0c;促进了上层应用快速发展&＃xff0c;例如各种迭代计算的性能以及对流计算和 SQL 等的支持。Flink 的诞生就被归在了第四代。这应该主要表现在 Flink 对流计算的支持&＃xff0c;以及更一步的实时性上面。当然 Flink 也可以支持 Batch 的任务&＃xff0c;以及 DAG 的运算。

介绍

         Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。该项目是柏林工业大学的一个研究性项目。早期&＃xff0c; Flink 是做 Batch 计算的&＃xff0c;但是在 2014 年&＃xff0c; StratoSphere 里面的核心成员孵化出 Flink&＃xff0c;同年将 Flink 捐赠 Apache&＃xff0c;并在后来成为 Apache 的顶级大数据项目&＃xff0c;同时 Flink 计算的主流方向被定位为 Streaming&＃xff0c; 即用流式计算来做所有大数据的计算&＃xff0c;这就是 Flink 技术诞生的背景。

2014 年 Flink 作为主攻流计算的大数据引擎开始在开源大数据行业内崭露头角。区别于 Storm、Spark Streaming 以及其他流式计算引擎的是&＃xff1a;它不仅是一个高吞吐、低延迟的计算引擎&＃xff0c;同时还提供很多高级的功能。比如它提供了有状态的计算&＃xff0c;支持状态管理&＃xff0c;支持强一致性的数据语义以及支持 基于Event Time的WaterMark对延迟或乱序的数据进行处理等。

• 批处理、流处理、SQL高层API支持
• 自带DAG
• 流式计算性能更高、可靠性更高

资源获取 获取Flink面试题&＃xff0c;Spark面试题&＃xff0c;程序员必备软件&＃xff0c;hive面试题&＃xff0c;Hadoop面试题&＃xff0c;Docker面试题&＃xff0c;简历模板等资源请去 GitHub自行下载 https://github.com/lhh2002/Framework-Of-BigData Gitee 自行下载 https://gitee.com/li_hey_hey/dashboard/projects