一张图看懂MapReduce架构是如何工作的？

MapReduce架构是Hadoop框架中最核心的设计之一。





MapReduce 的思想简单的一句话解释就是“任务的分解与结果的汇总”。MapReduce 从名字上来看&＃xff0c;两个动词Map 和Reduce&＃xff0c;

“Map&＃xff08;地图&＃xff09;”就是将一个图分解成为多个子图&＃xff0c;

“Reduce&＃xff08;缩小&＃xff09;”就是将分解后多任务处理的结果汇总起来&＃xff0c;得出最后的分析结果。





通俗说MapReduce 是一套从海量源数据提取分析元素最后返回结果集的编程模型&＃xff0c;将文件分布式存储到硬盘是第一步&＃xff0c;而从海量数据中提取分析我们需要的内容就是MapReduce 做的事了。





健康监测





由于Hadoop 处于一个极其脆弱的环境&＃xff0c;各计算单元发生故障的可能性是存在的&＃xff0c;恰当的健康监测是判断计算单元是否正常工作的基础架构&＃xff0c;它有两种基本形式&＃xff1a;





第一种&＃xff1a;命令/响应&＃xff08;ping/echo&＃xff09;&＃xff1a;

探测器定时发出一个命令&＃xff0c;并希望预定时间内收到一个审查计算单元的响应&＃xff0c;这种响应应该力求对于各个计算单元是统一的。




这种健康监测的特点是简单&＃xff0c;但是待审查计算单元时间常数不一致时&＃xff0c;将很难确定同步周期。





第二种&＃xff1a;心跳&＃xff08;dead man&＃xff09;&＃xff1a;





“心跳”是一种主动检测方案&＃xff0c;由被测计算单元主动发出一个自检结果信息&＃xff08;心跳&＃xff09;&＃xff0c;由探测器收听这个信息&＃xff0c;如果心跳失败&＃xff0c;则可以判断这个计算单元失灵&＃xff0c;并通知按照可靠性策略纠正错误计算单元。心跳也可以同时传递数据&＃xff0c;比如传递上一次处理的日志。




心跳方式比较灵活&＃xff0c;可以适应待审查计算单元时间常数不一致的情况&＃xff0c;缺点是监测器要复杂一些。由于分布式计算各计算点情况比较复杂&＃xff0c;所以Hadoop 采用了心跳方案&＃xff0c;以保证即使系统非常脆弱&＃xff0c;也能正常完成分布式计算任务。





MapReduce 基本架构




在分布式系统中&＃xff0c;机器集群就可以看作硬件资源池&＃xff0c;将并行的任务拆分&＃xff0c;然后交由每一个空闲机器资源去处理&＃xff0c;能够极大地提高计算效率&＃xff0c;同时这种具体资源无关性&＃xff0c;对于计算集群的扩展无疑提供了最好的设计保证。