大数据之Hadoop（三）：资源调度框架YARN的背景、架构、执行流程、环境搭建

• 通用资源管理系统

  • Hadoop数据分布式存储&＃xff08;数据分块&＃xff0c;冗余存储&＃xff09;
  • 当多个MapReduce任务要用到相同的hdfs数据&＃xff0c; 需要进行资源调度管理
  • Hadoop1.x时并没有YARN&＃xff0c;MapReduce 既负责进行计算作业又处理服务器集群资源调度管理

• 服务器集群资源调度管理和MapReduce执行过程耦合在一起带来的问题

  • Hadoop早期, 技术只有Hadoop, 这个问题不明显

  • 随着大数据技术的发展&＃xff0c;Spark Storm … 计算框架都要用到服务器集群资源

  • 如果没有通用资源管理系统&＃xff0c;只能为多个集群分别提供数据

    • 资源利用率低 运维成本高

    

  • Yarn (Yet Another Resource Negotiator) 另一种资源调度器

    • Mesos 大数据资源管理产品

• 不同计算框架可以共享同一个HDFS集群上的数据&＃xff0c;享受整体的资源调度

  

3.1.3 YARN的架构和执行流程

• ResourceManager: RM 资源管理器
  ​ 整个集群同一时间提供服务的RM只有一个&＃xff0c;负责集群资源的统一管理和调度
  ​ 处理客户端的请求&＃xff1a; submit, kill
  ​ 监控我们的NM&＃xff0c;一旦某个NM挂了&＃xff0c;那么该NM上运行的任务需要告诉我们的AM来如何进行处理
• NodeManager: NM 节点管理器
  ​ 整个集群中有多个&＃xff0c;负责自己本身节点资源管理和使用
  ​ 定时向RM汇报本节点的资源使用情况
  ​ 接收并处理来自RM的各种命令&＃xff1a;启动Container
  ​ 处理来自AM的命令
• ApplicationMaster: AM
  ​ 每个应用程序对应一个&＃xff1a;MR、Spark&＃xff0c;负责应用程序的管理
  ​ 为应用程序向RM申请资源&＃xff08;core、memory&＃xff09;&＃xff0c;分配给内部task
  ​ 需要与NM通信&＃xff1a;启动/停止task&＃xff0c;task是运行在container里面&＃xff0c;AM也是运行在container里面
• Container 容器: 封装了CPU、Memory等资源的一个容器,是一个任务运行环境的抽象
• Client: 提交作业 查询作业的运行进度,杀死作业

1&＃xff0c;Client提交作业请求

2&＃xff0c;ResourceManager 进程和 NodeManager 进程通信&＃xff0c;根据集群资源&＃xff0c;为用户程序分配第一个Container(容器)&＃xff0c;并将 ApplicationMaster 分发到这个容器上面

3&＃xff0c;在启动的Container中创建ApplicationMaster

4&＃xff0c;ApplicationMaster启动后向ResourceManager注册进程,申请资源

5&＃xff0c;ApplicationMaster申请到资源后&＃xff0c;向对应的NodeManager申请启动Container,将要执行的程序分发到NodeManager上

6&＃xff0c;Container启动后&＃xff0c;执行对应的任务

7&＃xff0c;Tast执行完毕之后&＃xff0c;向ApplicationMaster返回结果

8&＃xff0c;ApplicationMaster向ResourceManager 请求kill

3.1.5 YARN环境搭建

1&＃xff09;mapred-site.xml

mapreduce.framework.nameyarn



2&＃xff09;yarn-site.xml

yarn.nodemanager.aux-servicesmapreduce_shuffle



3. 启动YARN相关的进程
   sbin/start-yarn.sh

4&＃xff09;验证
​ jps
​ ResourceManager
​ NodeManager
​ http://192,168.19.137:8088

5&＃xff09;停止YARN相关的进程
​ sbin/stop-yarn.sh处