作者：手机用户2502930741 | 来源：互联网 | 2023-09-01 15:26
篇首语：本文由编程笔记#小编为大家整理，主要介绍了无法增加Max Application Master资源相关的知识，希望对你有一定的参考价值。
我正在使用uhopper/hadoop docker image来创建纱线簇。我有3个节点，每个节点有64GB RAM。我添加了配置。我已经给了纱线32GB。总簇内存为96GB。
- name: YARN_CONF_yarn_scheduler_minimum___allocation___mb
value: "2048"
- name: YARN_CONF_yarn_scheduler_maximum___allocation___mb
value: "16384"
- name: MAPRED_CONF_mapreduce_framework_name
value: "yarn"
- name: MAPRED_CONF_mapreduce_map_memory_mb
value: "8192"
- name: MAPRED_CONF_mapreduce_reduce_memory_mb
value: "8192"
- name: MAPRED_CONF_mapreduce_map_java_opts
value: "-Xmx8192m"
- name: MAPRED_CONF_mapreduce_reduce_java_opts
value: "-Xmx8192m"
- name: YARN_CONF_yarn_nodemanager_resource_memory___mb
value: "32768"
最大应用程序主资源为10240 MB。我运行了5个火花作业，每个3 GB驱动程序内存，2个作业从未进入RUNNING状态，因为10240MB。我无法充分利用我的硬件。
如何增加Max Application Master Resources内存？
答案
我希望，我找到了答案，如果你改变yarn.scheduler.capacity.maximum-am-resource-percent，那么Max Application Master Resources将会改变。这是一个文档 - 来自docs.hortonworks.com的Setting Application Limits
让我知道它是否有效。
另一答案
要更改Maximum Application Master资源，您必须更改yarn.scheduler.capacity.maximum-am-resource-percent的百分比，默认情况下为0.2，这意味着分配给Yarn的内存的20％。
如果我没有错，给YARN的总内存是10240 MB（10GB），如果应用程序主机可以使用的最大百分比是20％，那么它将内存分配给AM 2GB。
现在，如果您想为应用程序主机分配更多内存，则只需增加百分比即可。但建议您的AM百分比不应超过0.5。希望现在能说清楚。
京公网安备 11010802041100号