hadoop的组成

hadoop1.x组成&＃xff1a;

  MapReduce&＃xff08;计算&＃43;资源调度&＃xff09;
  HDFS&＃xff08;数据存储&＃xff09;
  Common&＃xff08;辅助工具&＃xff0c;HDFS和MR共有的常用的工具包模块&＃xff01;&＃xff09;

hadoop1.x时&＃xff1a;MapReduce同时处理业务逻辑运算和资源调度&＃xff0c;耦合性较大

hadoop2.x组成&＃xff1a;

  MapReduce&＃xff08;计算&＃xff09;
  Yarn&＃xff08;资源调度&＃xff09;
  HDFS&＃xff08;数据存储&＃xff09;
  Common&＃xff08;辅助工具&＃xff0c;HDFS和MR共有的常用的工具包模块&＃xff01;&＃xff09;

  hadoop2.x增加了Yarn&＃xff0c;Yarn只负责资源调度&＃xff0c;MapReduce只负责运算
  将资源调度和管理进行分离&＃xff01;由统一的资源调度平台YARN进行大数据计算资源的调度&＃xff01;
  提升了Hadoop的通用性&＃xff01;Hadoop搭建的集群中的计算资源&＃xff0c;不仅可以运行Hadoop中的MR程序&＃xff01;也可以运行其他计算框架的程序&＃xff01;

HDFS

负责大数据的存储
  核心进程&＃xff1a;
  必须进程&＃xff1a;
   Namenode(1个)&＃xff1a; 负责文件&＃xff0c;名称等元数据(属性信息)的存储&＃xff01;
   文件名&＃xff0c;大小&＃xff0c;文件切分了多少块(block)&＃xff0c;创建和修改时间等&＃xff01;
    职责&＃xff1a; 接受客户端的请求&＃xff01;
    接受DN的请求&＃xff01;
    向DN分配任务&＃xff01;

   Datanode(N个)&＃xff1a; 负责文件中数据的存储&＃xff01;
    职责&＃xff1a; 负责接受NM分配的任务&＃xff01;
    负责数据块(block)的管理(读&＃xff0c;写)&＃xff01;

  可选进程&＃xff1a;
   SecondaryNamenode(N个): 负责辅助NameNode工作&＃xff01;

MapReduce

  MapReduce(编程规范)&＃xff1a; 程序中有Mapper(简单处理)和Reducer(合并)

  遵循MapReduce的编程规范&＃xff0c;编写的程序&＃xff0c;打包后&＃xff0c;称为一个Job(任务)&＃xff01;
  Job需要提交到YARN上&＃xff0c;向YARN申请计算资源&＃xff0c;运行Job中的Task(进程)&＃xff01;
  Job会先创建一个进程MRAppMaster(mapreduce 应用管理者)&＃xff0c;由MRAppMaster向YARN申请资源&＃xff01;
  MRAppMaster负责监控Job中各个Task运行情况&＃xff0c;进行容错管理&＃xff01;

YARN

  YARN负责集群中所有计算资源的管理和调度&＃xff01;

   常见进程&＃xff1a;
    ResourceManager(1个): 负责整个集群所有资源的管理&＃xff01;
     职责&＃xff1a; 负责接受客户端的提交Job的请求&＃xff01;
     负责向NM分配任务&＃xff01;
     负责接收NM上报的信息&＃xff01;

    NodeManager(N个): 负责单台计算机所有资源的管理&＃xff01;
     职责&＃xff1a; 负责和RM进行通信&＃xff0c;上报本机中的可用资源&＃xff01;
     负责领取RM分配的任务&＃xff01;
     负责为Job中的每个Task分配计算资源&＃xff01;

  概念&＃xff1a;
   Container&＃xff08;容器&＃xff09;: NodeManager为Job的某个Task分配了2个CPU和2G内存的计算资源&＃xff01;
   为了防止当前Task在使用这些资源期间&＃xff0c;被其他的task抢占资源&＃xff01;
   将计算资源&＃xff0c;封装到一个Container中&＃xff0c;在Container中的资源&＃xff0c;会被暂时隔离&＃xff01;
   无法被其他进程所抢占&＃xff01;

   当前Task运行结束后&＃xff0c;当前Container中的资源会被释放&＃xff01;允许其他task来使用&＃xff01;