热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

HadoopYarn配置文件fairscheduler.xml含义

Yarn配置文件fair-scheduler.xml含义例如:
Yarn 配置文件fair-scheduler.xml含义

例如:

<?xml version&#61;"1.0"?>
<allocations>
<!-- users max running apps -->
<userMaxAppsDefault>30</userMaxAppsDefault>
<!-- 定义队列 -->
<queue name&#61;"root"><!-- 最小使用资源&#xff1a;512Mb内存&#xff0c;4个处理器核心 --><minResources>512mb,4vcores</minResources><!-- 最大使用资源&#xff1a;10G内存&#xff0c;100个处理器核心 --><maxResources>102400mb,100vcores</maxResources><!-- 最大可同时运行的app数量&#xff1a;100--><maxRunningApps>100</maxRunningApps><!-- weight:资源池权重 --><weight>1.0</weight><!-- 调度模式&#xff1a;fair-scheduler --><schedulingMode>fair</schedulingMode><!-- 允许提交任务的用户名和组&#xff0c;格式为&#xff1a;用户名 用户组 --><!-- 当有多个用户时候&#xff0c;格式为&#xff1a;用户名1,用户名2 用户名1所属组,用户名2所属组 --><aclSubmitApps> </aclSubmitApps><!-- 允许管理任务的用户名和组&#xff0c;格式同上 --><aclAdministerApps> </aclAdministerApps><queue name&#61;"default"><minResources>512mb,4vcores</minResources><maxResources>30720mb,30vcores</maxResources><maxRunningApps>100</maxRunningApps><schedulingMode>fair</schedulingMode><weight>1.0</weight><!-- 所有的任务如果不指定任务队列&#xff0c;都提交到default队列里面来 --><aclSubmitApps>*</aclSubmitApps></queue><queue name&#61;"hadoop"><minResources>512mb,4vcores</minResources><maxResources>20480mb,20vcores</maxResources><maxRunningApps>100</maxRunningApps><schedulingMode>fair</schedulingMode><weight>2.0</weight><aclSubmitApps>hadoop hadoop</aclSubmitApps><aclAdministerApps>hadoop hadoop</aclAdministerApps></queue><queue name&#61;"develop"><minResources>512mb,4vcores</minResources><maxResources>20480mb,20vcores</maxResources><maxRunningApps>100</maxRunningApps><schedulingMode>fair</schedulingMode><weight>1</weight><aclSubmitApps>develop develop</aclSubmitApps><aclAdministerApps>develop develop</aclAdministerApps></queue><queue name&#61;"test1"><minResources>512mb,4vcores</minResources><maxResources>20480mb,20vcores</maxResources><maxRunningApps>100</maxRunningApps><schedulingMode>fair</schedulingMode><weight>1.5</weight><aclSubmitApps>test1,hadoop,develop test1</aclSubmitApps><aclAdministerApps>test1 group_businessC,supergroup</aclAdministerApps></queue>
</queue>
</allocations>


推荐阅读
  • Hadoop2.6.0 + 云centos +伪分布式只谈部署
    3.0.3玩不好,现将2.6.0tar.gz上传到usr,chmod-Rhadoop:hadophadoop-2.6.0,rm掉3.0.32.在etcp ... [详细]
  • HDFS2.x新特性
    一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ... [详细]
  •     这里使用自己编译的hadoop-2.7.0版本部署在windows上,记得几年前,部署hadoop需要借助于cygwin,还需要开启ssh服务,最近发现,原来不需要借助cy ... [详细]
  • 对于开源的东东,尤其是刚出来不久,我认为最好的学习方式就是能够看源代码和doc,測试它的样例为了方便查看源代码,关联导入源代 ... [详细]
  • 本文介绍了使用kotlin实现动画效果的方法,包括上下移动、放大缩小、旋转等功能。通过代码示例演示了如何使用ObjectAnimator和AnimatorSet来实现动画效果,并提供了实现抖动效果的代码。同时还介绍了如何使用translationY和translationX来实现上下和左右移动的效果。最后还提供了一个anim_small.xml文件的代码示例,可以用来实现放大缩小的效果。 ... [详细]
  • XML介绍与使用的概述及标签规则
    本文介绍了XML的基本概念和用途,包括XML的可扩展性和标签的自定义特性。同时还详细解释了XML标签的规则,包括标签的尖括号和合法标识符的组成,标签必须成对出现的原则以及特殊标签的使用方法。通过本文的阅读,读者可以对XML的基本知识有一个全面的了解。 ... [详细]
  • Android系统移植与调试之如何修改Android设备状态条上音量加减键在横竖屏切换的时候的显示于隐藏
    本文介绍了如何修改Android设备状态条上音量加减键在横竖屏切换时的显示与隐藏。通过修改系统文件system_bar.xml实现了该功能,并分享了解决思路和经验。 ... [详细]
  • 本文介绍了Android 7的学习笔记总结,包括最新的移动架构视频、大厂安卓面试真题和项目实战源码讲义。同时还分享了开源的完整内容,并提醒读者在使用FileProvider适配时要注意不同模块的AndroidManfiest.xml中配置的xml文件名必须不同,否则会出现问题。 ... [详细]
  • Android工程师面试准备及设计模式使用场景
    本文介绍了Android工程师面试准备的经验,包括面试流程和重点准备内容。同时,还介绍了建造者模式的使用场景,以及在Android开发中的具体应用。 ... [详细]
  • 本文讨论了如何使用Web.Config进行自定义配置节的配置转换。作者提到,他将msbuild设置为详细模式,但转换却忽略了带有替换转换的自定义部分的存在。 ... [详细]
  • 本文介绍了在Android开发中使用软引用和弱引用的应用。如果一个对象只具有软引用,那么只有在内存不够的情况下才会被回收,可以用来实现内存敏感的高速缓存;而如果一个对象只具有弱引用,不管内存是否足够,都会被垃圾回收器回收。软引用和弱引用还可以与引用队列联合使用,当被引用的对象被回收时,会将引用加入到关联的引用队列中。软引用和弱引用的根本区别在于生命周期的长短,弱引用的对象可能随时被回收,而软引用的对象只有在内存不够时才会被回收。 ... [详细]
  • MySQL数据库锁机制及其应用(数据库锁的概念)
    本文介绍了MySQL数据库锁机制及其应用。数据库锁是计算机协调多个进程或线程并发访问某一资源的机制,在数据库中,数据是一种供许多用户共享的资源,如何保证数据并发访问的一致性和有效性是数据库必须解决的问题。MySQL的锁机制相对简单,不同的存储引擎支持不同的锁机制,主要包括表级锁、行级锁和页面锁。本文详细介绍了MySQL表级锁的锁模式和特点,以及行级锁和页面锁的特点和应用场景。同时还讨论了锁冲突对数据库并发访问性能的影响。 ... [详细]
  • 深入解析Linux下的I/O多路转接epoll技术
    本文深入解析了Linux下的I/O多路转接epoll技术,介绍了select和poll函数的问题,以及epoll函数的设计和优点。同时讲解了epoll函数的使用方法,包括epoll_create和epoll_ctl两个系统调用。 ... [详细]
  • linux进阶50——无锁CAS
    1.概念比较并交换(compareandswap,CAS),是原⼦操作的⼀种,可⽤于在多线程编程中实现不被打断的数据交换操作࿰ ... [详细]
  • MR程序的几种提交运行模式本地模型运行1在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行-- ... [详细]
author-avatar
静卍谧梁言_250
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有