HadoopMapReduce编程API入门系列之计数器（二十七）

MapReduce 计数器是什么？

        计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。

MapReduce 计数器能做什么？

        MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 MapReduce Job 运行期的各种细节数据。对 MapReduce 性能调优很有帮助，MapReduce 性能优化的评估大部分都是基于这些 Counter 的数值表现出来的。

MapReduce 都有哪些内置计数器？

        MapReduce 自带了许多默认 Counter，现在我们来分析这些默认 Counter 的含义，方便大家观察 Job 结果，如输入的字节数、输出的字节数、Map 端 输入/输出的字节数和条数、Reduce 端的输入/输出的字节数和条数等。下面我们只需了解这些内置计数器，知道计数器组名称（groupName）和计数器名称（counterName），以后使用计数器会查找groupName和counterName即可。

任务计数器

        在任务执行过程中，任务计数器采集任务的相关信息，每个作业的所有任务的结果会被聚集起来。例如，MAP_INPUT_RECORDS 计数器统计每个 map 任务输入记录的总数， 并在一个作业的所有 map 任务上进行聚集，使得最终数字是整个作业的所有输入记录的总数。任务计数器由其关联任务维护，并定期发送给 TaskTracker，再由 TaskTracker 发送给 JobTracker。因此，计数器能够被全局地聚集。下面我们分别了解各种任务计数器。

 1、MapReduce 任务计数器

        MapReduce 任务计数器的 groupName为org.apache.hadoop.mapreduce.TaskCounter，它包含的计数器如下表所示，计数器名称列的括号（）内容即为counterName。

2、文件系统计数器

        文件系统计数器的 groupName为org.apache.hadoop.mapreduce.FileSystemCounter，它包含的计数器如下表所示，计数器名称列的括号（）内容即为counterName。

3、FileInputFormat 计数器

        FileInputFormat 计数器的 groupName为org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter，它包含的计数器如下表所示，计数器名称列的括号（）内容即为counterName。

4、FileOutputFormat 计数器

        FileOutputFormat 计数器的 groupName为org.apache.hadoop.mapreduce.lib.input.FileOutputFormatCounter，它包含的计数器如下表所示，计数器名称列的括号（）内容即为counterName。

作业计数器

        作业计数器由 JobTracker（或者 YARN 中的应用宿主）维护，因此无需在网络间传输数据，这一点与包括 “用户定义的计数器” 在内的其它计数器不同。这些计数器都是作业级别的统计量，其值不会随着任务运行而改变。 作业计数器计数器的 groupName为org.apache.hadoop.mapreduce.JobCounter，它包含的计数器如下表所示，计数器名称列的括号（）内容即为counterName。

计数器的该如何使用？

        下面我们来介绍如何使用计数器。

1、定义计数器

        1)枚举声明计数器

Context context... //自定义枚举变量Enum Counter counter = context.getCounter(Enum enum)

   2)自定义计数器

Context context... //自己命名groupName和counterName Counter counter = context.getCounter(String groupName,String counterName)

2、为计数器赋值

        1)初始化计数器

counter.setValue(long value);//设置初始值

      2)计数器自增

counter.increment(long incr);//增加计数 

3、获取计数器的值

        1) 获取枚举计数器的值

Job job... job.waitForCompletion(true); Counters counters=job.getCounters(); Counter counter=counters.findCounter("BAD_RECORDS");//查找枚举计数器，假如Enum的变量为BAD_RECORDS long value=counter.getValue();//获取计数值

  2) 获取自定义计数器的值

Job job... job.waitForCompletion(true); Counters counters=job.getCounters(); Counter counter=counters.findCounter("ErrorCounter","toolong");//假如groupName为ErrorCounter，counterName为toolong long value=counter.getValue();//获取计数值 

   3) 获取内置计数器的值

代码

package zhouls.bigdata.myMapReduce.MyCounter;

import java.io.IOException; 
import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.LongWritable; 
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapreduce.Counter; 
import org.apache.hadoop.mapreduce.Job; 
import org.apache.hadoop.mapreduce.Mapper; 
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 
import org.apache.hadoop.util.GenericOptionsParser; 
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class MyCounter extends Configured implements Tool 
{ 
public static class MyCounterMap extends Mapper  
{ 
// 定义枚举对象
public static enum LOG_PROCESSOR_COUNTER 
{//枚举对象BAD_RECORDS_LONG来统计长数据，枚举对象BAD_RECORDS_SHORT来统计短数据
BAD_RECORDS_LONG,BAD_RECORDS_SHORT
}; 
protected void map(LongWritable key, Text value, Context context) throws java.io.IOException, InterruptedException
{ 
String arr_value[] = value.toString().split("/t"); 
if (arr_value.length > 3) 
{ 
/*动态自定义计数器*/
context.getCounter("ErrorCounter", "toolong").increment(1); 
/*枚举声明计数器*/
context.getCounter(LOG_PROCESSOR_COUNTER.BAD_RECORDS_LONG).increment(1); 
} else if (arr_value.length <3) 
{ 
// 动态自定义计数器
context.getCounter("ErrorCounter", "tooshort").increment(1); 
// 枚举声明计数器
context.getCounter(LOG_PROCESSOR_COUNTER.BAD_RECORDS_SHORT).increment(1);
} else
{
context.write(value, new Text(""));
}
} 
} 
public int run(String[] args) throws Exception
{
//TODO Auto-generated method stub
Configuration cOnf=new Configuration();

Path mypath=new Path(args[1]);
FileSystem hdfs =mypath.getFileSystem(conf);
if(hdfs.isDirectory(mypath))
{
hdfs.delete(mypath,true);
}
Job job = new Job(conf, "MyCounter"); 
job.setJarByClass(MyCounter.class); 

job.setMapperClass(MyCounterMap.class); 
job.setOutputKeyClass(Text.class); 
job.setOutputValueClass(Text.class); 

FileInputFormat.addInputPath(job, new Path(args[0])); 
FileOutputFormat.setOutputPath(job, new Path(args[1])); 
job.waitForCompletion(true);
return 0;
}
public static void main(String[] args) throws Exception
{ 

// String[] args0 ={"hdfs://HadoopMaster:9000/counter/counter.txt",
// "hdfs://HadoopMaster:9000/out/counter"};

String[] args0 ={"./data/counter/counter.txt",
"./out/counter"};


int ec = ToolRunner.run(new Configuration(),new MyCounter(),args0);
System.exit(ec); 
} 
}

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6169221.html，如需转载请自行联系原作者