Hadoop的组成——大数据生态

Hadoop的组成:

hadoop 1.x : HDFS(存) &＃43; MapReduce(算&＃43;资源(内存、CPU、磁盘、网络…)调度)
hadoop 2.x/3.x : HDFS(存) &＃43; MapReduce(算) &＃43; Yarn(资源调度)

HDFS的架构:

HDFS: Hadoop分布式文件系统&＃xff0c; 文件系统是用于对文件进行存储和管理。

分布式可以理解为由多台机器共同构成一个完整的文件系统。
NameNode(nn): 负责管理HDFS中所有文件的元数据信息.
元数据: 用于描述真实数据的数据就是所谓的元数据
例如: 一个真实的数据文件 a.txt&＃xff0c;它的元数据为: 文件名 文件大小 文件权限 文件的目录结构 文件对应的块 在哪个dn存
注意: 要想找到HDFS的真实数据必须通过NameNode所维护的元数据才能定位到DataNode中存储的真实数据
DataNode(dn) : 负责管理HDFS的所有的真实文件数据
SecondaryNameNode(2nn): 辅助NameNode工作. 分担NameNode一些工作&＃xff0c;减轻NameNode的压力.
注意: 2nn 不是 nn的热备.顶多算nn的秘书.

在一个集群中(非高可用集群): NN(1个) DN(多个) 2NN(1个)

Yarn的架构:

Yarn: 资源调度和管理的框架。 管理和调度的资源就是整个Hadoop集群的资源ResourceManager(RM): 是Yarn的大哥. 负责管理和调度整个集群的资源. 负责处理客户端的请求.负责为Job启动ApplicationMaster。NodeManager(NM): 是每台机器资源的管理者。实际上只是将本机器的资源对ResourceManager做一个汇报.对于资源的分配必须听从ResourceManager的指令.ApplicationMaster(AM):对应每一个Job(MapReduce程序),负责为Job向ResourceMananger去申请资源&＃xff0c;申请到资源以后&＃xff0c;负责告诉NodeManager去运行对应的任务. 并且负责监控任务的运行状态和任务的容错.Container: 对多维度资源的封装. 方便管理资源及防止资源被侵占.简单模拟一个任务的提交过程和资源调度过程&＃xff1a;首先有一个Job(MapReduce程序): 包含2个MapTask 和 1 个ReduceTask1. 客户端提交Job到ResourceManager2. ResourceManager 为 Job 启动 ApplicationMaster , ApplicationMaster的运行也需要资源&＃xff0c;因此ApplicationMaster
启动起来以后&＃xff0c;就会有一个Container封装ApplicationMaster运行所用的资源. 因为资源都是在NodeManager上&＃xff0c;所以ApplicationMaster是运行在某一个NodeManager上.3. ApplicationMaster 会根据Job的情况向 ResourceManager申请资源来运行每个Task&＃xff0c;当前Job总共有3个Task, 每个Task都是单独运行&＃xff0c;因此需要申请3份资源, 也就意味着又有3个Container运行.4. 所有的资源的分配都是ResourceManager下达指令给NodeManager进行分配的.5. ApplicationMaster为Job成功申请到资源以后&＃xff0c;会告诉NodeManager去运行对应的Task&＃xff0c;每个Task可能运行到不同的机器&＃xff0c;也有可能多个Task运行到同一个机器. 要看当时集群的资源情况.6. 当Job的每个Task都开始运行&＃xff0c;ApplicationMaster负责监控整个Job的状态. 要负责容错相关的事情.7. 当Job的每个Task都执行成功后&＃xff0c;意味着Job运行完成&＃xff0c;此时ApplicationMaster会找ResourceMananger申请注销自己&＃xff0c;所有为当前Job申请的资源得到释放. 申请程序员(申请资源)<------ NodeManager (运行不同的Task)


客户端(甲方)—> 找你们做项目(提交Job)—> 项目总监(RM) -------> 交给项目经理(AM) -----> 做项目(程序员负责不同的模块) ---->项目完成(项目经理找项目总监归还程序员)

MapReduce的架构:

Map阶段(MapTask): 负责将数据分到多台机器中&＃xff0c;进行并行计算
Reduce阶段(ReduceTask): 负责将多台机器在map阶段中计算出来的数据&＃xff0c;进行整体的汇总.

大数据生态平台