热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

HadoopYarn配置文件fairscheduler.xml含义

Yarn配置文件fair-scheduler.xml含义例如:
Yarn 配置文件fair-scheduler.xml含义

例如:

<?xml version&#61;"1.0"?>
<allocations>
<!-- users max running apps -->
<userMaxAppsDefault>30</userMaxAppsDefault>
<!-- 定义队列 -->
<queue name&#61;"root"><!-- 最小使用资源&#xff1a;512Mb内存&#xff0c;4个处理器核心 --><minResources>512mb,4vcores</minResources><!-- 最大使用资源&#xff1a;10G内存&#xff0c;100个处理器核心 --><maxResources>102400mb,100vcores</maxResources><!-- 最大可同时运行的app数量&#xff1a;100--><maxRunningApps>100</maxRunningApps><!-- weight:资源池权重 --><weight>1.0</weight><!-- 调度模式&#xff1a;fair-scheduler --><schedulingMode>fair</schedulingMode><!-- 允许提交任务的用户名和组&#xff0c;格式为&#xff1a;用户名 用户组 --><!-- 当有多个用户时候&#xff0c;格式为&#xff1a;用户名1,用户名2 用户名1所属组,用户名2所属组 --><aclSubmitApps> </aclSubmitApps><!-- 允许管理任务的用户名和组&#xff0c;格式同上 --><aclAdministerApps> </aclAdministerApps><queue name&#61;"default"><minResources>512mb,4vcores</minResources><maxResources>30720mb,30vcores</maxResources><maxRunningApps>100</maxRunningApps><schedulingMode>fair</schedulingMode><weight>1.0</weight><!-- 所有的任务如果不指定任务队列&#xff0c;都提交到default队列里面来 --><aclSubmitApps>*</aclSubmitApps></queue><queue name&#61;"hadoop"><minResources>512mb,4vcores</minResources><maxResources>20480mb,20vcores</maxResources><maxRunningApps>100</maxRunningApps><schedulingMode>fair</schedulingMode><weight>2.0</weight><aclSubmitApps>hadoop hadoop</aclSubmitApps><aclAdministerApps>hadoop hadoop</aclAdministerApps></queue><queue name&#61;"develop"><minResources>512mb,4vcores</minResources><maxResources>20480mb,20vcores</maxResources><maxRunningApps>100</maxRunningApps><schedulingMode>fair</schedulingMode><weight>1</weight><aclSubmitApps>develop develop</aclSubmitApps><aclAdministerApps>develop develop</aclAdministerApps></queue><queue name&#61;"test1"><minResources>512mb,4vcores</minResources><maxResources>20480mb,20vcores</maxResources><maxRunningApps>100</maxRunningApps><schedulingMode>fair</schedulingMode><weight>1.5</weight><aclSubmitApps>test1,hadoop,develop test1</aclSubmitApps><aclAdministerApps>test1 group_businessC,supergroup</aclAdministerApps></queue>
</queue>
</allocations>


推荐阅读
  • 1、概述hdfs文件系统主要设计为了存储大文件的文件系统;如果有个TB级别的文件,我们该怎么存储呢?分布式文件系统未出现的时候࿰ ... [详细]
  • 在搭建Hadoop集群以处理大规模数据存储和频繁读取需求的过程中,经常会遇到各种配置难题。本文总结了作者在实际部署中遇到的典型问题,并提供了详细的解决方案,帮助读者避免常见的配置陷阱。通过这些经验分享,希望读者能够更加顺利地完成Hadoop集群的搭建和配置。 ... [详细]
  • 本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件,并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • Hadoop + Spark安装(三) —— 调hadoop
    ***************************测试hadoop及问题跟进***************************执行以下语句报错datahadoop-2.9. ... [详细]
  • JUC(三):深入解析AQS
    本文详细介绍了Java并发工具包中的核心类AQS(AbstractQueuedSynchronizer),包括其基本概念、数据结构、源码分析及核心方法的实现。 ... [详细]
  • 解决Only fullscreen opaque activities can request orientation错误的方法
    本文介绍了在使用PictureSelectorLight第三方框架时遇到的Only fullscreen opaque activities can request orientation错误,并提供了一种有效的解决方案。 ... [详细]
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • 本文详细介绍了如何在 Android 应用中获取系统的版本号,包括具体的应用场景和实现步骤。 ... [详细]
  • 本文是Java并发编程系列的开篇之作,将详细解析Java 1.5及以上版本中提供的并发工具。文章假设读者已经具备同步和易失性关键字的基本知识,重点介绍信号量机制的内部工作原理及其在实际开发中的应用。 ... [详细]
  • 为了在Hadoop 2.7.2中实现对Snappy压缩和解压功能的原生支持,本文详细介绍了如何重新编译Hadoop源代码,并优化其Native编译过程。通过这一优化,可以显著提升数据处理的效率和性能。此外,还探讨了编译过程中可能遇到的问题及其解决方案,为用户提供了一套完整的操作指南。 ... [详细]
  • Zookeeper作为Apache Hadoop生态系统中的一个重要组件,主要致力于解决分布式应用中的常见数据管理难题。它提供了统一的命名服务、状态同步服务以及集群管理功能,有效提升了分布式系统的可靠性和可维护性。此外,Zookeeper还支持配置管理和临时节点管理,进一步增强了其在复杂分布式环境中的应用价值。 ... [详细]
  • HBase在金融大数据迁移中的应用与挑战
    随着最后一台设备的下线,标志着超过10PB的HBase数据迁移项目顺利完成。目前,新的集群已在新机房稳定运行超过两个月,监控数据显示,新集群的查询响应时间显著降低,系统稳定性大幅提升。此外,数据消费的波动也变得更加平滑,整体性能得到了显著优化。 ... [详细]
  • 前期Linux环境准备1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系4.关闭防火墙5.ssh免登陆6.安装JDK,配置环境变量等集群规划主机 IP安装软件运行进 ... [详细]
  • 【原创】七、Hadoop 2.5.2+zookeeper高可用部署
    一、原理(四大要点)(1)保证元数据一致(edits)namenode(fsimage edits)a、NFSb、journalnodec、zk(2)只有一台namenode对外提 ... [详细]
author-avatar
静卍谧梁言_250
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有