Hadoop3.x（Yarn）【Yarn资源调度器】

思考&＃xff1a;

1. 如何管理集群资源&＃xff1f;
2. 如何给任务合理分批资源&＃xff1f;

Yarn 是一个资源调度平台&＃xff0c;负责为运算程序提供服务器运算资源&＃xff0c;相当于一个分布式的操作系统平台&＃xff0c;而 MapReduce 等运算程序则相当于运行与操作系统之上的应用程序。

YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。

ResourceManager&＃xff08;RM&＃xff09;主要作用如下

1. 处理客户端请求
2. 监控 NodeManager
3. 启动或监控 ApplicationMaster
4. 资源的分配与调度

NodeManager&＃xff08;NM&＃xff09;主要作用如下

1. 管理单个节点上的资源
2. 处理来自 ResourceManager 的命令
3. 处理来自 ApplicationMaster 的命令

ApplicationMaster&＃xff08;AM&＃xff09;作用如下

1. 为应用程序申请资源并分配给内部的任务
2. 任务的监控与容错

Container
Container 是 YARN 中的资源抽象&＃xff0c;它封装了某个节点上的多维度资源&＃xff0c;如内存、CPU、磁盘、网络等。

1. MR 程序提交到客户端所在的节点。
2. YarnRunner 向 ResourceManager 申请一个 Application。
3. RM 将该应用程序的资源路径返回给 YarnRunner。
4. 该程序将运行所需资源提交到 HDFS 上。
5. 程序资源提交完毕后&＃xff0c;申请运行 mrAppMaster。
6. RM 将用户的请求初始化成一个 Task。
7. 其中一个 NodeManager 领取到 Task 任务。
8. 该 NodeManager 创建容器 Container&＃xff0c;并产生 MRAppmaster。
9. Container 从 HDFS 上拷贝资源到本地。
10. MRAppmaster 想 RM 申请运行 MapTask 资源。
11. RM 将运行 MapTask 任务分配给另外两个 NodeManager&＃xff0c;另两个 NodeManager 分别领取任务并创建容器。
12. MR 向两个接收到任务的 NodeManager 发送程序启动脚本&＃xff0c;这两个 NodeManager 分别启动 MapTask&＃xff0c;MapTask 对数据分区排序。
13. MrAppMaster 等待所有 MapTask 运行完毕后&＃xff0c;向 RM 申请容器&＃xff0c;运行 ReduceTask。
14. ReduceTask 向 MapTask 获取响应分区的数据。
15. 程序运行完毕后&＃xff0c;MR 会想RM 申请注销自己。

作业提交全过程详解
&＃xff08;1&＃xff09;作业提交
第1步&＃xff1a;Clinet 调用 job.waitForCompletion 方法&＃xff0c;向整个集群提交 MapReduce 作业。
第2步&＃xff1a;Client 向 RM 申请一个作业 id。
第3步&＃xff1a;RM 给 Client 返回该 job 资源的提交路径和作业 id。
第4步&＃xff1a;Client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。
第5步&＃xff1a;Client 提交玩资源后&＃xff0c;向 RM 申请运行 MrAppMaster。

&＃xff08;2&＃xff09;作业初始化
第6步&＃xff1a;当 RM 收到 Client 的请求后&＃xff0c;将该 job 添加到容量调度器中。
第7步&＃xff1a;某一个空闲的 NM 领取到该 Job。
第8步&＃xff1a;该 NN 创建 Container&＃xff0c;并产生 MRAppmaster。
第9步&＃xff1a;下载 Client 提交的资源到本地。

&＃xff08;3&＃xff09;任务分配
第10步&＃xff1a;MrAppMaster 向 RM 申请运行多个 MapTask 任务资源。
第11步&＃xff1a;RM 将运行 MapTask 任务分配给另外两个 NodeManager&＃xff0c;另两个 NodeManager 分别领取任务并创建容器。

&＃xff08;4&＃xff09;任务运行
第12步&＃xff1a;MR 向两个接收到任务的 NodeManager 发送程序启动脚本&＃xff0c;这两个 NodeManager 分别启动 MapTask&＃xff0c;MapTask 对数据进行分区排序。
第13步&＃xff1a;MrAppMaster 等待所有 MapTask 运行完毕后&＃xff0c;向 RM 申请容器&＃xff0c;运行 ReduceTask。
第14步&＃xff1a;ReduceTask 向 MapTask 获取相应分区的数据。
第15步&＃xff1a;程序运行完毕后&＃xff0c;MR 会向 RM 申请注销自己。

&＃xff08;5&＃xff09;进度和状态更新
YARN 中的任务将其进度和状态&＃xff08;包括 counter&＃xff09;返回给应用管理器&＃xff0c;客户端每秒&＃xff08;通过 mapreduce.client。progressmonitor。pollinterval 设置&＃xff09;向应用管理器请求进度更新&＃xff0c;展示给用户。

&＃xff08;6&＃xff09;作业完成
除了向应用管理器请求作业进度外&＃xff0c;客户端每5秒都会通过 waitForCompletion() 来检查作业是否完成。时间间隔可以通过 mapreduce.client.completion.pollinterval 来设置。作业完成之后&＃xff0c;应用管理器和 Container 会清理工作状态。作业的信息会被作业历史服务器存储以备之后的用核查。

目前&＃xff0c;Hadoop 作业调度器主要有三种&＃xff1a;FIFO、容量&＃xff08;Capacity Scheduler&＃xff09;和公平&＃xff08;Fair Scheduler&＃xff09;。Apache Hadoop3.1.3 默认的资源调度器是 Capacity Scheduler。
CDH 框架默认调度器是 FairScheduler。
具体设置详见&＃xff1a;yarn-default.xml 文件

<property>
<description>The class to use as the resource scheduler.description>
<name>yarn.resourcemanager.scheduler.classname>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacitySchedulervalue>
property>


1. 先进先出调度器&＃xff08;FIFO&＃xff09;

FIFO 调度器&＃xff08;First In First Out&＃xff09;&＃xff1a;单队列&＃xff0c;根据提交作业的先后顺序&＃xff0c;先来先服务。

优点&＃xff1a;简单易懂
缺点&＃xff1a;不支持多队列&＃xff0c;生产环境很少使用

2. 容量调度器&＃xff08;CapacityScheduler&＃xff09;

CapacityScheduler 是 Yahaoo 开发的多以用户调度器。

容量调度器特点

1. 多队列&＃xff1a;每个队列可配置一定的资源量&＃xff0c;每个队列采用 FIFO 调度策略。
2. 容量保证&＃xff1a;管理员可为每个队列设置资源最低保证和资源使用上限。
3. 灵活性&＃xff1a;如果一个队列中的资源有剩余&＃xff0c;可以暂时共享给哪些需要资源的队列&＃xff0c;而一旦该队列有新的应用程序提交&＃xff0c;则其他队列借调的资源会归还给该队列。
4. 多租户&＃xff1a;
   支持多用户共享集群和多应用程序同时运行。
   为了防止同一个用户的作业独占队列中的资源&＃xff0c;该调度器会对统一用户提交的作业所占资源进行限定。

容量调度器资源分配算法

1. 队列资源分配
从 root 开始&＃xff0c;使用深度优先算法&＃xff0c;优先选择资源占用率最低的队列分配资源。

2. 作业资源分配
默认按照提交作业的优先级和提交时间顺序分配资源。

3. 容器资源分配
按照容器的优先级分配资源&＃xff1b;
如果优先相同&＃xff0c;按照数据本地行原则&＃xff1b;

1. 任务和数据在同一节点
2. 任务和数据在同一机架
3. 任务和数据不在同一节点也不在同一机架

3. 公平调度器&＃xff08;Fair Scheduler&＃xff09;

Fair Scheduler 是 Facebook 开发的多用户调度器。

公平调度器特点

1. 与容量调度器相同点

1. 多队列&＃xff1a;支持多队列多作业
2. 容量保证&＃xff1a;管理员可以为每个队列设置资源最低保证和资源使用上限
3. 灵活性&＃xff1a;如果一个队列中的资源有剩余&＃xff0c;可以暂时共享给哪些需要资源的队列&＃xff0c;而一旦该队列有新的应用程序提交&＃xff0c;则其他队列借调的资源会归还给该队列
4. 多租户&＃xff1a;支持多用户共享集群和多应用程序同时运行&＃xff1b;为了防止同一个用户的作业独占队列中的资源&＃xff0c;该调度器会对统一用户提交的作业所占资源进行限定。

2. 与容量调度器不同点

1. 核心调度策略不同
   容量调度器&＃xff1a;优先选择资源利用率低的队列
   公平调度器&＃xff1a;优先选择对资源的缺额比例大的

2. 每个队列可以单独设置资源分配方式
   容量调度器&＃xff1a;FIFP、DRP
   公平调度器&＃xff1a;FIFO、FAIR、DRF

公平调度器缺额

• 公平调度器设计目标是&＃xff1a;在时间尺度上&＃xff0c;所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源的差距叫 " 缺额 "
• 调度器会优先为缺额大的作业分配资源

公平调度器队列资源分配方式

1. FIFO策略
公平调度每个队列资源分配策略如果选择 FIFO 的话&＃xff0c;此时公平调度器相当于上面讲过的容量调度器。

2. Fair策略
Fair 策略&＃xff08;默认&＃xff09;是一种基于最大最小公平算法实现的资源多路复用方式&＃xff0c;默认情况下&＃xff0c;每个队列内部采用该方式分配资源。这意味着&＃xff0c;如果一个队列中有两个应用程序同时运行&＃xff0c;则每个应用程序可得到 1/2 的资源&＃xff1b;如果三个应用程序同时运行&＃xff0c;则每个应用程序可得到 1/3 的资源。

具体资源分配流程和容量调度器一致&＃xff1a;

1. 选择队列
2. 选择作业
3. 选择容器
   以上三步&＃xff1a;每一步都是按照公平策略分配资源

实际最小资源份额&＃xff1a;mindshare &＃61; Min&＃xff08;资源需求量&＃xff0c;配置的最小资源&＃xff09;
是否饥饿&＃xff1a;isNeedy &＃61; 资源使用量 资源分配比&＃xff1a;minShareRatio &＃61; 资源使用量 / Max&＃xff08;mindshare&＃xff0c;1&＃xff09;
资源使用权重比&＃xff1a;useToWeightRatio &＃61; 资源使用量 / 权重

公平调度器资源分配算法

Yarn 状态的查询&＃xff0c;除了可以在 hadoop103:8088 页面查看外&＃xff0c;还可以通过命令操作。

常见的命令操作如下所示&＃xff1a;

[fickler&＃64;hadoop102 ~]$ myhadoop.sh start
[fickler&＃64;hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output1


1. yarn application查看任务

1. 列出所有 Application

[fickler&＃64;hadoop102 hadoop-3.1.3]$ yarn application -list
2022-09-24 12:12:22,062 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032
Total number of applications (application-types: [], states: [SUBMITTED, ACCEPTED, RUNNING] and tags: []):0
Application-Id Application-Name Application-Type User Queue State Final-State Progress Tracking-URL


2. 根据 Application 状态过滤&＃xff1a;yarn application-list-appStates&＃xff08;所有状态&＃xff1a;ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED&＃xff09;

[fickler&＃64;hadoop102 hadoop-3.1.3]$ yarn application -list -appStates FINISHED
2022-09-24 12:17:33,122 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032
Total number of applications (application-types: [], states: [FINISHED] and tags: []):1
Application-Id Application-Name Application-Type User Queue State Final-State Progress Tracking-URL
application_1663992336635_0001 word count MAPREDUCE fickler default FINISHED SUCCEEDED 100% http://hadoop102:19888/jobhistory/job/job_1663992336635_0001


3. Kill 掉 Application

[fickler&＃64;hadoop102 hadoop-3.1.3]$ yarn application -kill application_1663992336635_0001
2022-09-24 12:18:43,814 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032
Application application_1663992336635_0001 has already finished


2. yarn logs查看日志

1. 查询 Application 日志&＃xff1a;yarn logs -applicationId

[fickler&＃64;hadoop102 hadoop-3.1.3]$ yarn logs -applicationId application_1663992336635_0001


2. 查询 Container 日志&＃xff1a;yarn logs -applicationId -contaiinerId

[fickler&＃64;hadoop102 hadoop-3.1.3]$ yarn logs -applicationId application_1612577921195_0001 -containerId container_1612577921195_0001_01_000001


3. yarn applicationattempt 查看尝试运行的任务

1. 列出所有 Application 尝试的列表&＃xff1a;yarn applicationattempt -list

2. 打印 ApplicationAttempt 状态&＃xff1a;yarn applicationattempt -status

4. yarn container查看容器

1. 列出所有 Container&＃xff1a;yarn container -list

2. 打印 Container 状态&＃xff1a;yarn container -status

注意&＃xff1a;只有在任务跑的途中才能看到 container 的状态

5. yar node查看节点状态

列出所有结点&＃xff1a;yarn node -list -all

[fickler&＃64;hadoop102 hadoop-3.1.3]$ yarn node -list -all
2022-09-24 14:31:04,999 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032
Total Nodes:3
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
hadoop104:41760 RUNNING hadoop104:8042 0
hadoop102:40653 RUNNING hadoop102:8042 0
hadoop103:38332 RUNNING hadoop103:8042 0


6. yarn rmadmin更新配置

加载队列配置&＃xff1a;yarn rmadmin -refreshQueues

[fickler&＃64;hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshQueues
2022-09-24 14:32:08,579 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8033


7. yarn queue查看队列

打印队列信息&＃xff1a;yarn queue -status

[fickler&＃64;hadoop102 hadoop-3.1.3]$ yarn queue -status default
2022-09-24 14:33:22,970 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032
Queue Information :
Queue Name : default
State : RUNNING
Capacity : 100.0%
Current Capacity : .0%
Maximum Capacity : 100.0%
Default Node Label expression :
Accessible Node Labels : *
Preemption : disabled
Intra-queue Preemption : disabled

6. Yarn生产环境核心参数