首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

2.7.3YARN获取debug命令:resourceManager+nodeManager

作者： | 来源：互联网 | 2023-09-12 21:47
2019独角兽企业重金招聘Python工程师标准1源码和二进制下载http:archive.apache.orgdisthadoopcorehadoop-2.7.3源码htt

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1 源码和二进制下载

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/

 

源码

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz

二进制

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz

 

2yarn启动在machine0上

3启动脚本分析./sbin/start-yarn.sh

3.1正常打印

略

 

3.2libexec/yarn-config.sh【完毕】

3.2.1libexec/hadoop-config.sh【ing】

关于配置文件的位置说明

直接看代码

# Allow alternate conf dir location.

if [ -e "${HADOOP_PREFIX}/conf/hadoop-env.sh" ]; then

  DEFAULT_CONF_DIR&＃61;"conf"

else

  DEFAULT_CONF_DIR&＃61;"etc/hadoop"

fi

 

3.2.1.1 hadoop-env.sh【完毕】

层次还挺深...

 

3.3sbin/yarn-daemon.sh启动resourcemanager【完毕】

真实的命令

# start resourceManager

"$bin"/yarn-daemon.sh --config $YARN_CONF_DIR  start resourcemanager

 

让我们看看具体做了什么

规范&＃xff1a;

yarn-daemon.sh [--config ] [--hosts hostlistfile] (start|stop)

 

3.3.1 libexec/yarn-config.sh【同上】

3.3.2/etc/hadoop/yarn-env.sh【完毕】

3.3.3执行start函数获得resourceManager启动命令

/root/jdk1.8.0_181/bin/java -Dproc_resourcemanager -Xmx100m -Dhadoop.log.dir&＃61;/root/yarn_study/hadoop-2.7.3/logs -Dyarn.log.dir&＃61;/root/yarn_study/hadoop-2.7.3/logs -Dhadoop.log.file&＃61;yarn-yarn-resourcemanager-machine0.log -Dyarn.log.file&＃61;yarn-yarn-resourcemanager-machine0.log -Dyarn.home.dir&＃61; -Dyarn.id.str&＃61;yarn -Dhadoop.root.logger&＃61;INFO,RFA -Dyarn.root.logger&＃61;INFO,RFA -Djava.library.path&＃61;/root/yarn_study/hadoop-2.7.3/lib/native -Dyarn.policy.file&＃61;hadoop-policy.xml -Dhadoop.log.dir&＃61;/root/yarn_study/hadoop-2.7.3/logs -Dyarn.log.dir&＃61;/root/yarn_study/hadoop-2.7.3/logs -Dhadoop.log.file&＃61;yarn-yarn-resourcemanager-machine0.log -Dyarn.log.file&＃61;yarn-yarn-resourcemanager-machine0.log -Dyarn.home.dir&＃61;/root/yarn_study/hadoop-2.7.3 -Dhadoop.home.dir&＃61;/root/yarn_study/hadoop-2.7.3 -Dhadoop.root.logger&＃61;INFO,RFA -Dyarn.root.logger&＃61;INFO,RFA -Djava.library.path&＃61;/root/yarn_study/hadoop-2.7.3/lib/native -classpath /root/yarn_study/hadoop-2.7.3/etc/hadoop:/root/yarn_study/hadoop-2.7.3/etc/hadoop:/root/yarn_study/hadoop-2.7.3/etc/hadoop:/root/yarn_study/hadoop-2.7.3/share/hadoop/common/lib/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/common/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/hdfs:/root/yarn_study/hadoop-2.7.3/share/hadoop/hdfs/lib/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/hdfs/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/yarn/lib/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/yarn/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/mapreduce/lib/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/mapreduce/*:/root/yarn_study/hadoop-2.7.3/contrib/capacity-scheduler/*.jar:/root/yarn_study/hadoop-2.7.3/contrib/capacity-scheduler/*.jar:/root/yarn_study/hadoop-2.7.3/contrib/capacity-scheduler/*.jar:/root/yarn_study/hadoop-2.7.3/share/hadoop/yarn/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/yarn/lib/*:/root/yarn_study/hadoop-2.7.3/etc/hadoop/rm-config/log4j.properties org.apache.hadoop.yarn.server.resourcemanager.ResourceManager

 

3.4sbin/yarn-daemons.sh启动nodemanager

3.4.1 libexec/yarn-config.sh【结束】

3.4.2sbin/slaves.sh

3.4.2.1libexec/hadoop-config.sh【结束】

3.4.2.2/etc/hadoop/hadoop-env.sh

3.4.2.3循环连接slave执行远程命令

cd /root/yarn_study/hadoop-2.7.3 ;

/root/yarn_study/hadoop-2.7.3/sbin/yarn-daemon.sh --config /root/yarn_study/hadoop-2.7.3/etc/hadoop start nodemanager

 

这个就类似于3.3的命令了&＃xff01;

 

回去处理3.3就可以&＃xff01;

 

 

4 本质调用的/bin/yarn --config $YARN_CONF_DIR $command "$&＃64;"

 

细节不说了&＃xff01;

 

5总结2个的jdb命令

5.1 resourcemananger

/root/jdk1.8.0_181/bin/java -Dproc_resourcemanager -Xmx100m -Dhadoop.log.dir&＃61;/root/yarn_study/hadoop-2.7.3/logs -Dyarn.log.dir&＃61;/root/yarn_study/hadoop-2.7.3/logs -Dhadoop.log.file&＃61;yarn-root-resourcemanager-machine0.log -Dyarn.log.file&＃61;yarn-root-resourcemanager-machine0.log -Dyarn.home.dir&＃61; -Dyarn.id.str&＃61;root -Dhadoop.root.logger&＃61;INFO,RFA -Dyarn.root.logger&＃61;INFO,RFA -Djava.library.path&＃61;/root/yarn_study/hadoop-2.7.3/lib/native -Dyarn.policy.file&＃61;hadoop-policy.xml -Dhadoop.log.dir&＃61;/root/yarn_study/hadoop-2.7.3/logs -Dyarn.log.dir&＃61;/root/yarn_study/hadoop-2.7.3/logs -Dhadoop.log.file&＃61;yarn-root-resourcemanager-machine0.log -Dyarn.log.file&＃61;yarn-root-resourcemanager-machine0.log -Dyarn.home.dir&＃61;/root/yarn_study/hadoop-2.7.3 -Dhadoop.home.dir&＃61;/root/yarn_study/hadoop-2.7.3 -Dhadoop.root.logger&＃61;INFO,RFA -Dyarn.root.logger&＃61;INFO,RFA -Djava.library.path&＃61;/root/yarn_study/hadoop-2.7.3/lib/native -classpath /root/yarn_study/hadoop-2.7.3/etc/hadoop:/root/yarn_study/hadoop-2.7.3/etc/hadoop:/root/yarn_study/hadoop-2.7.3/etc/hadoop:/root/yarn_study/hadoop-2.7.3/share/hadoop/common/lib/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/common/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/hdfs:/root/yarn_study/hadoop-2.7.3/share/hadoop/hdfs/lib/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/hdfs/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/yarn/lib/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/yarn/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/mapreduce/lib/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/mapreduce/*:/root/yarn_study/hadoop-2.7.3/contrib/capacity-scheduler/*.jar:/root/yarn_study/hadoop-2.7.3/contrib/capacity-scheduler/*.jar:/root/yarn_study/hadoop-2.7.3/contrib/capacity-scheduler/*.jar:/root/yarn_study/hadoop-2.7.3/share/hadoop/yarn/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/yarn/lib/*:/root/yarn_study/hadoop-2.7.3/etc/hadoop/rm-config/log4j.properties org.apache.hadoop.yarn.server.resourcemanager.ResourceManager

 

 

5.2nodemanange

/root/jdk1.8.0_181/bin/java -Dproc_nodemanager -Xmx100m -Dhadoop.log.dir&＃61;/root/yarn_study/hadoop-2.7.3/logs -Dyarn.log.dir&＃61;/root/yarn_study/hadoop-2.7.3/logs -Dhadoop.log.file&＃61;yarn-root-nodemanager-machine1.log -Dyarn.log.file&＃61;yarn-root-nodemanager-machine1.log -Dyarn.home.dir&＃61; -Dyarn.id.str&＃61;root -Dhadoop.root.logger&＃61;INFO,RFA -Dyarn.root.logger&＃61;INFO,RFA -Djava.library.path&＃61;/root/yarn_study/hadoop-2.7.3/lib/native -Dyarn.policy.file&＃61;hadoop-policy.xml -server -Dhadoop.log.dir&＃61;/root/yarn_study/hadoop-2.7.3/logs -Dyarn.log.dir&＃61;/root/yarn_study/hadoop-2.7.3/logs -Dhadoop.log.file&＃61;yarn-root-nodemanager-machine1.log -Dyarn.log.file&＃61;yarn-root-nodemanager-machine1.log -Dyarn.home.dir&＃61;/root/yarn_study/hadoop-2.7.3 -Dhadoop.home.dir&＃61;/root/yarn_study/hadoop-2.7.3 -Dhadoop.root.logger&＃61;INFO,RFA -Dyarn.root.logger&＃61;INFO,RFA -Djava.library.path&＃61;/root/yarn_study/hadoop-2.7.3/lib/native -classpath /root/yarn_study/hadoop-2.7.3/etc/hadoop:/root/yarn_study/hadoop-2.7.3/etc/hadoop:/root/yarn_study/hadoop-2.7.3/etc/hadoop:/root/yarn_study/hadoop-2.7.3/share/hadoop/common/lib/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/common/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/hdfs:/root/yarn_study/hadoop-2.7.3/share/hadoop/hdfs/lib/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/hdfs/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/yarn/lib/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/yarn/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/mapreduce/lib/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/mapreduce/*:/root/yarn_study/hadoop-2.7.3/contrib/capacity-scheduler/*.jar:/root/yarn_study/hadoop-2.7.3/contrib/capacity-scheduler/*.jar:/root/yarn_study/hadoop-2.7.3/share/hadoop/yarn/*:/root/yarn_study/hadoop-2.7.3/share/hadoop/yarn/lib/*:/root/yarn_study/hadoop-2.7.3/etc/hadoop/nm-config/log4j.properties org.apache.hadoop.yarn.server.nodemanager.NodeManager

 

 

 

 

 

 

 

 

 

 

 


转载于:https://my.oschina.net/qiangzigege/blog/1933559


推荐阅读
  • jar

    Presto：高效即席查询引擎的深度解析与应用

    Presto：高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎，详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式，显著提升了查询性能，相比传统的MapReduce查询，不仅减少了数据传输的延迟，还提高了查询的准确性和效率。然而，Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景，展示了其在大数据分析领域的强大潜力。 ... [详细]
  • get

    HDFS API

    Hadoop的文件操作位于包org.apache.hadoop.fs里面，能够进行新建、删除、修改等操作。比较重要的几个类：(1)Configurati ... [详细]
  • get

    SSH集成过程中常见问题及解决方案

    在使用SSH框架进行项目开发时，经常会遇到一些常见的问题。例如，在Spring配置文件中配置AOP事务声明后，进行单元测试时可能会出现“No Hibernate Session bound to thread”的错误。本文将详细探讨这一问题的原因，并提供有效的解决方案，帮助开发者顺利解决此类问题。 ... [详细]
  • get

    CentOS 7 中配置开机自动挂载 NFS 的解决方案

    本文详细介绍了在 CentOS 7 系统中配置 fstab 文件以实现开机自动挂载 NFS 共享目录的方法，并解决了常见的配置失败问题。 ... [详细]
  • get

    com.sun.javadoc.PackageDoc.exceptions()方法的使用及代码示例

    com.sun.javadoc.PackageDoc.exceptions()方法的使用及代码示例 ... [详细]
  • go

    Python 数据可视化实战指南

    Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化，涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • get

    Python 使用 DOM 和 SAX 解析 XML 的应用实例

    本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件，并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]
  • shell

    Hadoop平台警告解决：无法加载本机Hadoop库的全面应对方案

    Hadoop平台警告解决：无法加载本机Hadoop库的全面应对方案
    本文探讨了在Hadoop平台上遇到“无法加载本机Hadoop库”警告的多种解决方案。首先，通过修改日志配置文件来忽略该警告，这一方法被证明是有效的。其次，尝试指定本地库的路径，但未能解决问题。接着，尝试不使用Hadoop本地库，同样没有效果。然后，通过替换现有的Hadoop本地库，成功解决了问题。最后，根据Hadoop的源代码自行编译本地库，也达到了预期的效果。以上方法适用于macOS系统。 ... [详细]
  • get

    优化Hadoop 2.7.2源代码以支持Snappy压缩和解压功能的Native编译

    为了在Hadoop 2.7.2中实现对Snappy压缩和解压功能的原生支持，本文详细介绍了如何重新编译Hadoop源代码，并优化其Native编译过程。通过这一优化，可以显著提升数据处理的效率和性能。此外，还探讨了编译过程中可能遇到的问题及其解决方案，为用户提供了一套完整的操作指南。 ... [详细]
  • get

    Kafka 集群的高效部署与优化策略

    本文探讨了 Kafka 集群的高效部署与优化策略。首先介绍了 Kafka 的下载与安装步骤，包括从官方网站获取最新版本的压缩包并进行解压。随后详细讨论了集群配置的最佳实践，涵盖节点选择、网络优化和性能调优等方面，旨在提升系统的稳定性和处理能力。此外，还提供了常见的故障排查方法和监控方案，帮助运维人员更好地管理和维护 Kafka 集群。 ... [详细]
  • get

    探索资源访问的学习路径与方法

    本文探讨了资源访问的学习路径与方法，旨在帮助学习者更高效地获取和利用各类资源。通过分析不同资源的特点和应用场景，提出了多种实用的学习策略和技术手段，为学习者提供了系统的指导和建议。 ... [详细]
  • get

    HBase Java API 进阶：过滤器详解与应用实例

    HBase Java API 进阶：过滤器详解与应用实例
    本文详细探讨了HBase 1.2.6版本中Java API的高级应用，重点介绍了过滤器的使用方法和实际案例。首先，文章对几种常见的HBase过滤器进行了概述，包括列前缀过滤器（ColumnPrefixFilter）和时间戳过滤器（TimestampsFilter）。此外，还详细讲解了分页过滤器（PageFilter）的实现原理及其在大数据查询中的应用场景。通过具体的代码示例，读者可以更好地理解和掌握这些过滤器的使用技巧，从而提高数据处理的效率和灵活性。 ... [详细]
  • get

    Hibernate实战笔记14：深入解析反向工程技术

    在处理遗留数据库的映射时，反向工程是一个重要的初始步骤。由于实体模式已经在数据库系统中存在，Hibernate 提供了自动化工具来简化这一过程，帮助开发人员快速生成持久化类和映射文件。通过反向工程，可以显著提高开发效率并减少手动配置的错误。此外，该工具还支持对现有数据库结构进行分析，自动生成符合 Hibernate 规范的配置文件，从而加速项目的启动和开发周期。 ... [详细]
  • ascii

    深入解析JDK 8 HashMap源代码：put方法详解及capacity、size、loadFactor和红黑树转换阈值的设定原理

    本文深入解析了JDK 8中HashMap的源代码，重点探讨了put方法的工作机制及其内部参数的设定原理。HashMap允许键和值为null，但键为null的情况只能出现一次，因为null键在内部通过索引0进行存储。文章详细分析了capacity（容量）、size（大小）、loadFactor（加载因子）以及红黑树转换阈值的设定原则，帮助读者更好地理解HashMap的高效实现和性能优化策略。 ... [详细]
  • get

    2012年9月12日优酷土豆校园招聘笔试题目解析与备考指南

    2012年9月12日优酷土豆校园招聘笔试题目解析与备考指南
    2012年9月12日，优酷土豆校园招聘笔试题目解析与备考指南。在选择题部分，有一道题目涉及中国人的血型分布情况，具体为A型30%、B型20%、O型40%、AB型10%。若需确保在随机选取的样本中，至少有一人为B型血的概率不低于90%，则需要选取的最少人数是多少？该问题不仅考察了概率统计的基本知识，还要求考生具备一定的逻辑推理能力。 ... [详细]
author-avatar
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有