热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

7.3WordCount示例编写(二)

任务目的理解WordCount示例的业务逻辑掌握MapReduceReduce端编程规范理解WordCount示例Reduce端的自定义业务逻辑的编写熟记MapReduceDri

任务目的
  • 理解 WordCount 示例的业务逻辑
  • 掌握 MapReduce Reduce 端编程规范
  • 理解 WordCount 示例 Reduce 端的自定义业务逻辑的编写
  • 熟记 MapReduce Driver 端编程规范

任务清单


  • 任务1:WordCount Reduce 端程序编写
  • 任务2:WordCount Driver 端程序编写

详细任务步骤

首先回顾一下 WordCount 示例的业务逻辑:

  MapTask 阶段处理每个数据分块的单词统计分析&#xff0c;思路是将每一行文本拆分成一个个的单词&#xff0c;每遇到一个单词则把其转换成一个 key-value 对&#xff0c;比如单词 Car&#xff0c;就转换成<’Car’,1>发送给 ReduceTask 去汇总。

  ReduceTask 阶段将接收 MapTask 的结果&#xff0c;按照 key 对 value 做汇总计数。

Vditor

图1

 

任务1&#xff1a;WordCount Reduce 端程序编写

  回顾 MapReduce Reduce 端编码规范&#xff1a;

  1. 用户自定义的 Reducer 需要继承父类 Reducer
  2. Reducer 的输入数据类型对应 Mapper 的输出数据类型&#xff0c;也是 KV
  3. Reducer 的输出数据是 KV 对的形式&#xff08;KV 的类型可自定义&#xff09;
  4. Reducer 的业务逻辑写在 reduce() 方法
  5. ReduceTask 进程对每一组相同 k 的组调用一次 reduce() 方法

  接下来进入 WordCount Reduce 端程序的编写&#xff0c;eclipse 成功连接到 Hadoop 集群后&#xff0c;在 com.hongyaa.mr 包下创建名为 WordCountReducer.java 的类&#xff0c;如下图所示&#xff1a;

Vditor

图2

 

  首先编写 Reduce 端编程框架&#xff0c;自定义的 WordCountReducer 需要继承父类 Reducer&#xff0c;输入数据和输出数据都是KV 对的形式。具体框架代码如下&#xff1a;

public class WordCountReducer extends Reducer {}

  • KEYIN:对应 Mapper 端输出的 KEYOUT&#xff0c;即单个单词&#xff0c;所以是 String&#xff0c;对应 Hadoop 中的 Text
  • VALUEIN:对应 Mapper 端输出的 VALUEOUT&#xff0c;即单词的数量&#xff0c;所以是Integer&#xff0c;对应 Hadoop 中的 IntWritable
  • KEYOUT:用户自定义逻辑方法返回数据中key的类型&#xff0c;由用户业务逻辑决定&#xff0c;在此wordcount程序中&#xff0c;我们输出的key是单词&#xff0c;所以是String&#xff0c;对应 Hadoop 中的 Text
  • VALUEOUT:用户自定义逻辑方法返回数据中value的类型,由用户业务逻辑决定,在此wordcount程序中,我们输出的value是单词的出现的总次数&#xff0c;所以是Integer&#xff0c;对应 Hadoop 中的 IntWritable

  将框架中的KV对对应的类型修改完成后的代码如下所示&#xff1a;

public class WordCountReducer extends Reducer {}

  已知 Reducer 中的业务逻辑写在 reduce() 方法中&#xff0c;在此 reduce()方法中我们需要接收 MapTask 的输出结果&#xff0c;然后按照 key&#xff08;单词&#xff09; 对 value&#xff08;数量1&#xff09; 做汇总计数。具体代码如下所示&#xff1a;

/*** * * 框架在Map处理完成之后&#xff0c;将所有key-value对缓存起来&#xff0c;进行分组&#xff0c;然后传递一个组&#xff0c;调用一次reduce()方法* * 入参key&#xff0c;是一组相同单词kv对的key*/
&#64;Override
protected void reduce(Text key, Iterable values, Context context)throws IOException, InterruptedException {//&#xff08;1&#xff09;做每个key&#xff08;单词&#xff09;的结果汇总int sum &#61; 0;for (IntWritable v : values) {sum &#43;&#61; v.get();}//&#xff08;2&#xff09;输出每个key&#xff08;单词&#xff09;和其对应的总次数context.write(key, new IntWritable(sum));
}

  WordCountReducer.java 的完整代码如下所示&#xff1a;

public class WordCountReducer extends Reducer {/*** * * 框架在Map处理完成之后&#xff0c;将所有key-value对缓存起来&#xff0c;进行分组&#xff0c;然后传递一个组&#xff0c;调用一次reduce()方法* * 入参key&#xff0c;是一组相同单词kv对的key*/&#64;Overrideprotected void reduce(Text key, Iterable values, Context context)throws IOException, InterruptedException {//做每个单词的结果汇总int sum &#61; 0;for (IntWritable v : values) {sum &#43;&#61; v.get();}//写出最后的结果context.write(key, new IntWritable(sum));}
}

任务2&#xff1a;WordCount Driver 端程序编写

  回顾 MapReduce Driver 端编码规范&#xff1a;整个程序需要一个 Drvier 来进行提交&#xff0c;提交的是一个描述了各种必要信息的 job 对象。

  接下来进入 WordCount Driver 端程序的编写&#xff0c;在 com.hongyaa.mr 包下创建名为 WordCount.java 的类&#xff0c;如下图所示&#xff1a;

Vditor

图3

 

  Driver 端为该 WordCount 程序运行的入口&#xff0c;相当于 YARN 集群&#xff08;分配运算资源&#xff09;的客户端&#xff0c;需要创建一个 Job 类对象来管理 MapReduce 程序运行时需要的相关运行参数&#xff0c;最后将该 Job 类对象提交给 YARN。

  Job对象指定作业执行规范&#xff0c;我们可以用它来控制整个作业的运行。接下来&#xff0c;我们分步讲述作业从提交到执行的整个过程。

  1. 创建 Job

  Job 的创建比较容易&#xff0c;其实就是 new 一个实例&#xff0c;先创建一个配置文件的对象&#xff0c;然后将配置文件对象作为参数&#xff0c;构造一个 Job 对象就可以了。具体代码如下&#xff1a;

// 创建配置文件对象
Configuration conf &#61; new Configuration();
// 新建一个 job 任务
Job job &#61; Job.getInstance(conf);

  2. 打包作业

  我们在 Hadoop 集群上运行这个作业时&#xff0c;要把代码打包成一个Jar文件&#xff0c;只需要在Job对象的setJarByClass()方法中传递一个类即可&#xff0c;Hadoop会利用这个类来查找包含它的Jar文件&#xff0c;进而找到相关的Jar文件。具体代码如下&#xff1a;

// 将 job 所用到的那些类&#xff08;class&#xff09;文件&#xff0c;打成jar包
job.setJarByClass(WordCount.class);

  3. 设置各个环节的函数

  指定我们自定义的 mapper 类和 reducer 类&#xff0c;通过 Job 对象进行设置&#xff0c;将自定义的函数和具体的作业联系起来。具体代码如下&#xff1a;

// 指定 mapper 类和 reducer 类
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordCountReducer.class);

  4. 设置输入输出数据类型

  分别指定 MapTask 和 ReduceTask 的输出key-value类型。如果 MapTask 的输出的key-value类型与 ReduceTask 的输出key-value类型一致&#xff0c;则可以只指定ReduceTask 的输出key-value类型。具体代码如下&#xff1a;

// 指定 MapTask 的输出key-value类型&#xff08;可以省略&#xff09;
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);// 指定 ReduceTask 的输出key-value类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);

  5. 设置输入输出文件目录

  在设置输入输出文件目录时&#xff0c;可以选择使用绝对目录&#xff0c;就是直接在语句中写入目录&#xff1b;也可以使用参数输入&#xff0c;即在运行程序时&#xff0c;再在控制台输入目录。具体代码如下&#xff1a;

// 指定该 mapreduce 程序数据的输入和输出路径&#xff0c;此处输入、输出为固定文件目录
Path inPath&#61;new Path("/wordcount/input");
Path outpath&#61;new Path("/wordcount/output");
FileInputFormat.setInputPaths(job,inPath);
FileOutputFormat.setOutputPath(job, outpath);// 此处为参数
FileInputFormat.setInputPaths(job,new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));

  6. 提交并运行作业

  单个任务的提交可以直接使用如下语句&#xff1a;

job.waitForCompletion(true);

  WordCount.java 的完整代码如下所示&#xff1a;

public class WordCount {/*** 该MR程序运行的入口&#xff0c;相当于YARN集群&#xff08;分配运算资源&#xff09;的客户端*/public static void main(String[] args) throws Exception {// &#xff08;1&#xff09;创建配置文件对象Configuration conf &#61; new Configuration();// &#xff08;2&#xff09;新建一个 job 任务Job job &#61; Job.getInstance(conf);// &#xff08;3&#xff09;将 job 所用到的那些类&#xff08;class&#xff09;文件&#xff0c;打成jar包 &#xff08;打成jar包在集群运行必须写&#xff09;job.setJarByClass(WordCount.class);// &#xff08;4&#xff09;指定 mapper 类和 reducer 类job.setMapperClass(WordCountMapper.class);job.setReducerClass(WordCountReducer.class);// &#xff08;5&#xff09;指定 MapTask 的输出key-value类型&#xff08;可以省略&#xff09;job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(IntWritable.class);// &#xff08;6&#xff09;指定 ReduceTask 的输出key-value类型job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);// &#xff08;7&#xff09;指定该 mapreduce 程序数据的输入和输出路径Path inPath&#61;new Path("/wordcount/input");Path outpath&#61;new Path("/wordcount/output");FileSystem fs&#61;FileSystem.get(conf);if(fs.exists(outpath)){fs.delete(outpath,true);}FileInputFormat.setInputPaths(job,inPath);FileOutputFormat.setOutputPath(job, outpath);// &#xff08;8&#xff09;最后给YARN来运行&#xff0c;等着集群运行完成返回反馈信息&#xff0c;客户端退出boolean waitForCompletion &#61; job.waitForCompletion(true);System.exit(waitForCompletion ? 0 : 1);}
}


推荐阅读
  • 本文介绍如何在 Android 中自定义加载对话框 CustomProgressDialog,包括自定义 View 类和 XML 布局文件的详细步骤。 ... [详细]
  • [转]doc,ppt,xls文件格式转PDF格式http:blog.csdn.netlee353086articledetails7920355确实好用。需要注意的是#import ... [详细]
  • 原文网址:https:www.cnblogs.comysoceanp7476379.html目录1、AOP什么?2、需求3、解决办法1:使用静态代理4 ... [详细]
  • 基于Net Core 3.0与Web API的前后端分离开发:Vue.js在前端的应用
    本文介绍了如何使用Net Core 3.0和Web API进行前后端分离开发,并重点探讨了Vue.js在前端的应用。后端采用MySQL数据库和EF Core框架进行数据操作,开发环境为Windows 10和Visual Studio 2019,MySQL服务器版本为8.0.16。文章详细描述了API项目的创建过程、启动步骤以及必要的插件安装,为开发者提供了一套完整的开发指南。 ... [详细]
  • 本文介绍了一种自定义的Android圆形进度条视图,支持在进度条上显示数字,并在圆心位置展示文字内容。通过自定义绘图和组件组合的方式实现,详细展示了自定义View的开发流程和关键技术点。示例代码和效果展示将在文章末尾提供。 ... [详细]
  • 使用 ListView 浏览安卓系统中的回收站文件 ... [详细]
  • ButterKnife 是一款用于 Android 开发的注解库,主要用于简化视图和事件绑定。本文详细介绍了 ButterKnife 的基础用法,包括如何通过注解实现字段和方法的绑定,以及在实际项目中的应用示例。此外,文章还提到了截至 2016 年 4 月 29 日,ButterKnife 的最新版本为 8.0.1,为开发者提供了最新的功能和性能优化。 ... [详细]
  • oracle c3p0 dword 60,web_day10 dbcp c3p0 dbutils
    createdatabasemydbcharactersetutf8;alertdatabasemydbcharactersetutf8;1.自定义连接池为了不去经常创建连接和释放 ... [详细]
  • javascript分页类支持页码格式
    前端时间因为项目需要,要对一个产品下所有的附属图片进行分页显示,没考虑ajax一张张请求,所以干脆一次性全部把图片out,然 ... [详细]
  • 实验九:使用SharedPreferences存储简单数据
    本实验旨在帮助学生理解和掌握使用SharedPreferences存储和读取简单数据的方法,包括程序参数和用户选项。 ... [详细]
  • 字节流(InputStream和OutputStream),字节流读写文件,字节流的缓冲区,字节缓冲流
    字节流抽象类InputStream和OutputStream是字节流的顶级父类所有的字节输入流都继承自InputStream,所有的输出流都继承子OutputStreamInput ... [详细]
  • 深入解析 Lifecycle 的实现原理
    本文将详细介绍 Android Jetpack 中 Lifecycle 组件的实现原理,帮助开发者更好地理解和使用 Lifecycle,避免常见的内存泄漏问题。 ... [详细]
  • 本文详细解析了使用C++实现的键盘输入记录程序的源代码,该程序在Windows应用程序开发中具有很高的实用价值。键盘记录功能不仅在远程控制软件中广泛应用,还为开发者提供了强大的调试和监控工具。通过具体实例,本文深入探讨了C++键盘记录程序的设计与实现,适合需要相关技术的开发者参考。 ... [详细]
  • 【问题】在Android开发中,当为EditText添加TextWatcher并实现onTextChanged方法时,会遇到一个问题:即使只对EditText进行一次修改(例如使用删除键删除一个字符),该方法也会被频繁触发。这不仅影响性能,还可能导致逻辑错误。本文将探讨这一问题的原因,并提供有效的解决方案,包括使用Handler或计时器来限制方法的调用频率,以及通过自定义TextWatcher来优化事件处理,从而提高应用的稳定性和用户体验。 ... [详细]
  • 深入解析Android 4.4中的Fence机制及其应用
    在Android 4.4中,Fence机制是处理缓冲区交换和同步问题的关键技术。该机制广泛应用于生产者-消费者模式中,确保了不同组件之间高效、安全的数据传输。通过深入解析Fence机制的工作原理和应用场景,本文探讨了其在系统性能优化和资源管理中的重要作用。 ... [详细]
author-avatar
易秀胜_444
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有