Yarnday01

一&＃xff1a;课程介绍

        1&＃xff1a;理论

                1.1&＃xff1a;yarn的基础结构

                1.2&＃xff1a;yarn的工作机制

                1.3&＃xff1a;MapReduce/HDFS/Yarn

                1.4&＃xff1a;调度器和调度算法

                        1.4.1&＃xff1a;FIFO

                        1.4.2&＃xff1a;容量调度器

                        1.4.3&＃xff1a;公平调度器

                1.5&＃xff1a;yarn在生产环境下需要配置哪些参数

                1.6&＃xff1a;命令行操作yarn

        2&＃xff1a;怎么玩

                2.1&＃xff1a;生产环境下参数怎么配置

                2.2&＃xff1a;容量调度器在生产环境配置

                2.3&＃xff1a;公平调度器在生产环境配置

                2.4&＃xff1a;yarn的tool接口

第一章&＃xff1a;Yarn资源调度器

        1&＃xff1a;如何管理集群资源

        2&＃xff1a;如何给任务合理分配资源

        Yarn是一个资源调度平台&＃xff0c;负责为运算程序提供服务器运算资源&＃xff0c;相当于一个分布式的操作系统平台 &＃xff0c;而 MapReduce等运算程序则相当于运行于 操作系统之上的应用程序。负责集群资源的管理以及合理的分配资源。

        3&＃xff1a;基础架构&＃xff1a;yarn主要由ResourceManager、NodeManager、ApplicationMaster、Container等组件构成。ResouceManager是整个集群的老大&＃xff0c;NodeManager是单台服务器的老大&＃xff0c;ApplicationMaster是一个作业的老大&＃xff0c;Container是相应的容器。

        4&＃xff1a;工作机制

        5&＃xff1a;作业提交全过程&＃xff08;HDFS、MapReduce、Yarn三者关系&＃xff09; 

        6&＃xff1a;yarn调度器和调度算法

        Hadoop作业调度器主要有三种&＃xff1a; FIFO、 容量&＃xff08; Capacity Scheduler 和 公平&＃xff08; Fair Scheduler 。 Apache Hadoop3.1.3默认 的资源调度器是 Capacity Scheduler。

                6.1&＃xff1a;FIFO先进先出调度器

                6.2&＃xff1a;容量调度器

                6.3&＃xff1a;公平调度器

         队列案例&＃xff1a;

        作业案例&＃xff1a;