Cloud学习笔记4.MapReduce范式

MapReduce 范式

什么是MapReduce

Map和Reduce源自于Functional Language

• map是一种顺序且独立处理集合中每个元素的元函数
• reduce是分批处理集合元素的元函数

Example : Word Count

我们以以下文档作为样例

Welcome Everyone

Hello Everyone

Map阶段

Map任务会对每个record产生一个键值对(key/value pair)。
例如，(Welcome, 1) 这意味着曾经遇到过Welcome这个词
这些record可以相互独立地处理。

在这个例子中只有一个Map任务，所以它按顺序处理这些record。
当数据量特别巨大时候，这个过程很容易被中断。

需要对输入数据集进行分片或拆分，分配给每个镜像或每个独立的Map任务, 并产生输出

Reduce

Reduce基于每个键合并、处理中间结果

每条记录会根据key的不同，被分配给不同的Reduce任务。通常会使用Hash paritioning算法来分配key。Reduce任务根据分配到的key并行地处理、合并中间值。