【博学谷学习记录】大数据课程学习第五周总结

Hadoop概述

Hadoop介绍

Hadoop是Apache旗下的一个用java语言实现开源软件框架&＃xff0c;是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。
狭义上说&＃xff0c;Hadoop指Apache这款开源框架&＃xff0c;它的核心组件有&＃xff1a;
HDFS&＃xff08;分布式文件系统&＃xff09;&＃xff1a;解决海量数据存储
YARN&＃xff08;作业调度和集群资源管理的框架&＃xff09;&＃xff1a;解决资源任务调度
MAPREDUCE&＃xff08;分布式运算编程框架&＃xff09;&＃xff1a;解决海量数据计算

广义上来说&＃xff0c;Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

框架 用途
HDFS 分布式文件系统
MapReduce 分布式运算程序开发框架
ZooKeeper 分布式协调服务基础组件
HIVE 基于HADOOP的分布式数据仓库&＃xff0c;提供基于SQL的查询数据操作
FLUME 日志数据采集框架
oozie 工作流调度框架
Sqoop 数据导入导出工具&＃xff08;比如用于mysql和HDFS之间&＃xff09;
Impala 基于hive的实时sql查询分析
Mahout 基于mapreduce/spark/flink等分布式运算框架的机器学习算法库

Hadoop特性优点

扩容能力&＃xff08;Scalable&＃xff09;&＃xff1a;Hadoop是在可用的计算机集群间分配数据并完成计算任务的&＃xff0c;这些集群可用方便的扩展到数以千计的节点中。
成本低&＃xff08;Economical&＃xff09;&＃xff1a;Hadoop通过普通廉价的机器组成服务器集群来分发以及处理数据&＃xff0c;以至于成本很低。
高效率&＃xff08;Efficient&＃xff09;&＃xff1a;通过并发数据&＃xff0c;Hadoop可以在节点之间动态并行的移动数据&＃xff0c;使得速度非常快。
可靠性&＃xff08;Rellable&＃xff09;&＃xff1a;能自动维护数据的多份复制&＃xff0c;并且在任务失败后能自动地重新部署&＃xff08;redeploy&＃xff09;计算任务。所以Hadoop的按位存储和处理数据的能力值得人们信赖。

Hadoop历史版本

•1.x版本系列&＃xff1a;hadoop版本当中的第二代开源版本&＃xff0c;主要修复0.x版本的一些bug等&＃xff0c;该版本已被淘汰
•2.x版本系列&＃xff1a;架构产生重大变化&＃xff0c;引入了yarn平台等许多新特性,是现在使用的主流版本。
3.x版本系列&＃xff1a;对HDFS、MapReduce、YARN都有较大升级&＃xff0c;还新增了Ozone key-value存储。

Hadoop发行版公司

Hadoop发行版本分为开源社区版和商业版。社区版是指由Apache软件基金会维护的版本&＃xff0c;是官方维护的版本体系。
商业版Hadoop是指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本&＃xff0c;比较著名的有cloudera的CDH、mapR、hortonWorks等

社区版

一、免费开源版本Apache:
http://hadoop.apache.org/
优点&＃xff1a;拥有全世界的开源贡献者&＃xff0c;代码更新迭代版本比较快&＃xff0c;
缺点&＃xff1a;版本的升级&＃xff0c;版本的维护&＃xff0c;版本的兼容性&＃xff0c;版本的补丁都可能考虑不太周到
Apache所有软件的下载地址&＃xff08;包括各种历史版本&＃xff09;&＃xff1a;http://archive.apache.org/dist/

二、免费开源版本HortonWorks&＃xff1a;
hortonworks主要是雅虎主导Hadoop开发的副总裁&＃xff0c;带领二十几个核心成员成立Hortonworks&＃xff0c;核心产品软件HDP&＃xff08;ambari&＃xff09;&＃xff0c;HDF免费开源&＃xff0c;并且提供一整套的web管理界面&＃xff0c;供我们可以通过web界面管理我们的集群状态&＃xff0c;web管理界面软件HDF网址&＃xff08;http://ambari.apache.org/&＃xff09;&＃xff0c;2018年&＃xff0c;大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并&＃xff0c;Cloudera以股票方式收购Hortonworks&＃xff0c;Cloudera股东最终获得合并公司60%的股份