Hadoop2.6日志文件解析与MapReduce日志管理深入探讨

Hadoop 2.6包含两个大部分&＃xff1a;DFS和Yarn&＃xff0c;而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manager里面运行的JVM部分。所以整个系统&＃xff08;不考虑加装ZooKeeper的HA的情况&＃xff09;的log是分别放在3个log里面的。

1. 对于DFS的log&＃xff0c;在Name Node和Data Node里面&＃xff0c;默认可以在${HADOOP_INSTALL}/logs里面看到。这个是非DFS的文件&＃xff0c;直接可以通过Linux文件系统看到。

2. 对于Yarn的log&＃xff0c;在Resource Manager和Node Manager里面&＃xff0c;默认可以在${HADOOP_INSTALL}/logs里面看到。这个也是非DFS的文件&＃xff0c;直接可以通过Linux文件系统看到。

对于MapReduce任务的log&＃xff0c;情况就比较的复杂了。在2.6里面&＃xff0c;task是按照application->container的层次来管理的&＃xff0c;所以在Name Node机器上运行mapreduce程序的时候&＃xff0c;在console里面看到的log都可以通过在相应的data node/node manager里面的${HADOOP_INSTALL}/logs/userlogs下面找到。这个部分也是非DFS文件&＃xff0c;直接可以通过Linux文件系统看到。

这些log也可以通过Hadoop Web管理页面看到&＃xff0c;比较方便。

网络上搜来的信息基本都是关于上面这些部分的。可对于一个开发人员而言&＃xff0c;上面这些log对于调试程序的帮助就不大了。Java程序员会经常要用System.out/err来输出中间内容到standard output&＃xff0c;而且工业界早就用logger来记录系统状态和帮助调试了。那么我们在mapreduce程序体里面怎么来得到这些log哪。

首先讲讲System.out的输出&＃xff0c;这个网络上的介绍还算详细。基本来说在main方法里面的部分都可以在console上输出。这一点不管是在Eclipse里面通过插件链接DFS运行on MapReduce的时候&＃xff0c;还是直接在namenode上跑jar包&＃xff0c;都可以看的到。直接编程读写DFS的程序也能够通过这个方法来看到中间结果和调试程序。而上面也说了&＃xff0c;因为这个task的部分是运行在resource manager的启动的JVM里面&＃xff08;这个部分不是很确定&＃xff0c;也许是单独启动的一个JVM&＃xff09;&＃xff0c;所以System.out的输出可以看到。而一旦程序进入Mapper和Reducer的部分&＃xff0c;这个时候&＃xff0c;任务是分发到datanode的机器里面跑&＃xff0c;那里的JVM的输出就不会再返回到task的JVM了&＃xff0c;所以在Mapper和Reducer里面的System.out输出是无法看到的。

那么这个时候怎么来写log哪?网络搜索的结果基本给了3个方法&＃xff1a;1. 用log4j来生成logger&＃xff1b;2. 用apache common里面的LogFactory生成logger&＃xff1b;3. 用MultipleOutput来自己写log输出。

1和2本质是一样的&＃xff0c;只是调用现成的Logger类。3是要自己管理log文件的生成和输出&＃xff0c;灵活但是很累。

现在最关键的问题来了。我用Log4j或者LogFactory的Logger输出的log文件在哪里&＃xff1f;搜了一天&＃xff0c;基本讲的都语焉不详&＃xff0c;特别是针对Hadoop 2.6的&＃xff0c;没有找到。综合了几个帖子&＃xff0c;终于发现了问题所在。为了能看到Logger输出的内容&＃xff0c;需要做如下几件事&＃xff1a;

1. 在启动Hadoop集群的时候&＃xff0c;除了start-yarn.sh和start-dfs.sh&＃xff0c;还要启动historyserver&＃xff0c;命令是

 mr-jobhistory-daemon.sh命令是在${HADOOP_INSTALL}/sbin/目录下面。启动完了&＃xff0c;用jps命令可以看到有JobHistoryServer的进程启动。

启动了HistoryServer后&＃xff0c;就可以看到Tracking URL里面的History了。

还能在Hadoop Web管理界面里看到每个Job的历史Map和Reduce任务&＃xff0c;以及每个任务所在的datanode。

点击Maps和Reduces后面的数字link&＃xff0c;就能看到每个任务运行的情况。

但是当去点击log的链接的时候&＃xff0c;会碰到Aggregation function is not enabled错误。为了能看到每个Map和Reduce任务的Log&＃xff0c;还必须在yarn-site.xml里面配置aggregation为true。

然后将yarn-site.xml同步到所有的节点&＃xff0c;在重启集群。这个时候再点击上面那个logs链接&＃xff0c;就可以看到每个任务的log了&＃xff0c;而Logger们输出的内容也在里面&＃xff01;&＃xff01;

到了这里&＃xff0c;就只剩下一个问题了。这个log文件在哪里&＃xff1f;查看yarn-site.xml后终于发现了MapReduce任务的log的位置。

注意红色字的部分&＃xff0c;这里清楚的指明了这个log是存放在HDFS文件系统里面的&＃xff0c;不是放在Linux文件系统里面的。在hdfs://namenode/logs/hadoop/logs里面&＃xff0c;终于发现了每个任务对应的log文件夹。每个任务文件夹里有两个文件。分别对应的Map任务和Reduce任务。
hostname部分是对应的datanode的hostname。

在Web页面里显示的也就是从这两个文件里读取并排版的。自此每个log文件的具体位置终于水落石出。