Hadoop技术介绍

Hadoop是什么

1&＃xff09;Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
2&＃xff09;主要解决&＃xff0c;海量数据的存储和海量数据的分析计算问题。
3&＃xff09;广义上来说&＃xff0c;Hadoop通常是指一个更广泛的概念——Hadoop生态圈

Hadoop发展历史

1&＃xff09;Hadoop创始人Doug Cutting&＃xff0c;为了实现与Google类似的全文搜索功能&＃xff0c;他在Lucene框架基础上进行优化升级&＃xff0c;查询引擎和索引引擎。

2&＃xff09;2001年年底Lucene成为Apache基金会的一个子项目。

3&＃xff09;对于海量数据的场景&＃xff0c;Lucene框 架面 对与Google同样的困难&＃xff0c;存储海量数据困难&＃xff0c;检索海量速度慢。

4&＃xff09;学习和模仿Google解决这些问题的办法 &＃xff1a;微型版Nutch。

5&＃xff09;可以说Google是Hadoop的思想之源&＃xff08;Google在大数据方面的三篇论文&＃xff09;

GFS --->HDFS
Map-Reduce --->MR
BigTable --->HBase


Hadoop优势&＃xff08;4高&＃xff09;

1&＃xff09;高可靠性&＃xff1a;Hadoop底层维护多个数据副本&＃xff0c;所以即使Hadoop某个计算元
素或存储出现故障&＃xff0c;也不会导致数据的丢失。
2&＃xff09;高扩展性&＃xff1a;在集群间分配任务数据&＃xff0c;可方便的扩展数以千计的节点。
3&＃xff09;高效性&＃xff1a;在MapReduce的思想下&＃xff0c;Hadoop是并行工作的&＃xff0c;以加快任务处
理速度。
4&＃xff09;高容错性&＃xff1a;能够自动将失败的任务重新分配。

Hadoop 组成

在 Hadoop1.x 时 代 &＃xff0c;Hadoop中 的MapReduce同时处理业务逻辑运算和资源的调度&＃xff0c;耦合性较大。

在Hadoop2.x时 代&＃xff0c;增加 了Yarn。Yarn只负责资 源 的 调 度 &＃xff0c;MapReduce 只负责运算。

Hadoop3.x在组成上没有变化。

HDFS 架构概述

Hadoop Distributed File System&＃xff0c;简称 HDFS&＃xff0c;是一个分布式文件系统。

1&＃xff09;NameNode&＃xff08;nn&＃xff09;&＃xff1a;存储文件的元数据&＃xff0c;如文件名&＃xff0c;文件目录结构&＃xff0c;文件属性&＃xff08;生成时间、副本数、文件权限&＃xff09;&＃xff0c;以及每个文件的块列表和块所在的DataNode等。

2&＃xff09;DataNode(dn)&＃xff1a;在本地文件系统存储文件块数据&＃xff0c;以及块数据的校验和。

3&＃xff09;Secondary NameNode(2nn)&＃xff1a;每隔一段时间对NameNode元数据备份。

YARN 架构概述

Yet Another Resource Negotiator 简称 YARN &＃xff0c;另一种资源协调者&＃xff0c;是 Hadoop 的资源管理器。

1&＃xff09;ResourceManager&＃xff08;RM&＃xff09;&＃xff1a;整个集群资源&＃xff08;内存、CPU等&＃xff09;的老大
3&＃xff09;ApplicationMaster&＃xff08;AM&＃xff09;&＃xff1a;单个任务运行的老大
2&＃xff09;NodeManager&＃xff08;N M&＃xff09;&＃xff1a;单个节点服务器资源老大
4&＃xff09;Container&＃xff1a;容器&＃xff0c;相当一台独立的服务器&＃xff0c;里面封装了
任务运行所需要的资源&＃xff0c;如内存、CPU、磁盘、网络等。

MapReduce 架构概述

MapReduce 将计算过程分为两个阶段&＃xff1a;Map 和 Reduce
1&＃xff09;Map 阶段并行处理输入数据
2&＃xff09;Reduce 阶段对 Map 结果进行汇总

大数据技术生态体系

1&＃xff09;Sqoop&＃xff1a;Sqoop 是一款开源的工具&＃xff0c;主要用于在 Hadoop、Hive 与传统的数据库&＃xff08;MySQL&＃xff09;间进行数据的传递&＃xff0c;可以将一个关系型数据库&＃xff08;例如 &＃xff1a;MySQL&＃xff0c;Oracle 等&＃xff09;中的数据导进到 Hadoop 的 HDFS 中&＃xff0c;也可以将 HDFS 的数据导进到关系型数据库中。

2&＃xff09;Flume&＃xff1a;Flume 是一个高可用的&＃xff0c;高可靠的&＃xff0c;分布式的海量日志采集、聚合和传输的系统&＃xff0c;Flume 支持在日志系统中定制各类数据发送方&＃xff0c;用于收集数据&＃xff1b;

3&＃xff09;Kafka&＃xff1a;Kafka 是一种高吞吐量的分布式发布订阅消息系统&＃xff1b;

4&＃xff09;Spark&＃xff1a;Spark 是当前最流行的开源大数据内存计算框架。可以基于 Hadoop 上存储的大数据进行计算。

5&＃xff09;Flink&＃xff1a;Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。

6&＃xff09;Oozie&＃xff1a;Oozie 是一个管理 Hadoop 作业&＃xff08;job&＃xff09;的工作流程调度管理系统。

7&＃xff09;Hbase&＃xff1a;HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库&＃xff0c;它是一个适合于非结构化数据存储的数据库。

8&＃xff09;Hive&＃xff1a;Hive 是基于 Hadoop 的一个数据仓库工具&＃xff0c;可以将结构化的数据文件映射为一张数据库表&＃xff0c;并提供简单的 SQL 查询功能&＃xff0c;可以将 SQL 语句转换MapReduce 任务进行运行。其优点是学习成本低&＃xff0c;可以通过类 SQL 语句快速实现简单的 MapReduce 统计&＃xff0c;不必开发专门的 MapReduce 应用&＃xff0c;十分适合数据仓库的统计分析。

9&＃xff09;ZooKeeper&＃xff1a;它是一个针对大型分布式系统的可靠协调系统&＃xff0c;提供的功能包括&＃xff1a;配置维护、名字服务、分布式同步、组服务等。