大象腾飞：Hadoop开源工具盘点

Apache Mesos

Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享&＃xff0c;支持Hadoop、 MPI、Hypertable、Spark等。

Hadoop YARN

YARN又被称为MapReduce 2.0&＃xff0c;借鉴Mesos&＃xff0c;YARN提出了资源隔离解决方案Container&＃xff0c;但是目前尚未成熟&＃xff0c;仅仅提供 Java 虚拟机内存的隔离

Apache Spark

Spark是个开源的数据分析集群计算框架&＃xff0c;最初由加州大学伯克利分校AMPLab开发&＃xff0c;建立于HDFS之上。Spark与Hadoop一样&＃xff0c;用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现&＃xff0c;使用Scala作为应用框架。

Storm

Storm是一个分布式的、容错的实时计算系统&＃xff0c;由BackType开发&＃xff0c;后被Twitter捕获。Storm属于流处理平台&＃xff0c;多用于实时计算并更新数据库。Storm也可被用于“连续计算”&＃xff08;continuous computation&＃xff09;&＃xff0c;对数据流做连续查询&＃xff0c;在计算时就将结果以流的形式输出给用户。

Cloudera Impala

Impala是由Cloudera开发&＃xff0c;一个开源的Massively Parallel Processing&＃xff08;MPP&＃xff09;查询引擎 。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(Hue Beeswax)&＃xff0c;可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的&＃xff0c;第一个版本发布于2012年末。