hadoop底层原理(一)

hadoop是apache基金会所开发的并行计算和分布式存储系统，最核心的模块是hadoop common、hdfs和mapreduce。

HDFS

       hdfs是分布式文件管理系统(hadoop distributed file system)的缩写，为分布式计算引擎提供了底层支持。采用java语言编写，可以部署在廉价的机器上，以集群的机器数量积达到大型主机的处理性能。

    HDFS架构原理

        hdfs采用master/slave架构。一个hdfs集群包含一个单独的namenode和多个datanode。namenode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作。namenode也会保存文件系统的具体信息，包括文件信息、文件被分割成block块的信息、以及每一个block块归属的datanode信息。对于整个集群来说，HDFS通过namenode对用户提供了一个单一的命名空间。datanode作为slave服务，在集群中可以存在多个。通常情况下，一个DataNode对应一个物理节点（当然也不排除单个物理节点存在多个DataNode服务，生产环境不建议这么做）。DataNode负责管理节点上它们所拥有的存储，它将存储划分为多个block块，管理block信息，同时周期性地将这些信息发给NameNode。

下图为HDFS架构图，主要有三个角色：client、DataNode、NameNode

文件写入时 

         client向NameNode发送写入请求。

         NameNode根据文件大小和文件块配置情况，返回给client它所管理的部分DataNode信息。

         client将文件划分为多个block块，并根据DataNode的地址信息，按顺序写入到每一个DataNode块中。

文件读取时

         client向NameNode发送读取请求。

         NameNode返回文件存储的block块信息，以及block块所在的DataNode信息。

         client读取所有信息。

HDFS数据备份

         HDFS被设计成一个可以在大集群中、跨机器、可靠的存储海量数据的框架。它将所有文件存储成block块所组成序列，除了最后一个block块，所有的block块的大小都是一样的。文件的所有block块都会因为容错而被复制。每个文件的block块的大小和容错复制份数都是可以配置的。容错复制份数可以在文件创建时设置，后期也可以修改。HDFS中的文件默认规则是write one(一次写入，多次读取)，并且要求任何时刻都只有一个writer。NameNode负责管理block块的复制，它周期性地接收集群中的所有DataNode的心跳数据包和blockreport。心跳数据包表示DataNode正常工作，blockreport描述了该DataNode所有的block块组成的列表。

备份数据的存放

        备份数据的存放时HDFS的可靠性和性能的关键。HDFS采用一种被称为rack-aware的策略来决定备份数据和存放。通过一个被称为Rack awareness的过程，NameNode决定每个DataNode所属rack ID。缺省的情况下，一个block块会有三个备份，一个在NameNode指定的DataNode上，一个在指定DataNode非同一rack的DataNode上，一个在指定DataNode同一rack的DataNode上。这种策略综合考虑了同一rack失效、以及不同rack之间数据复制性能问题。

副本的选择

为了降低整体的带宽消耗和读取延时，HDFS会尽量读取最近的副本。如果在同一个rack上有一个副本，那么就读该副本。如果一个HDFS集群跨越多个数据中心，那么将首先尝试读本地数据中心的副本。

安全模式

系统启动后先进入安全模式，此时系统中的内容不允许修改和删除，直到安全模式结束。安全模式主要是为了启动检查各个DataNode上数据块的安全性。

MapReduce

来源

MapReduce是由Google在一篇论文中提出并广为流传的。它最早是Google提出的一个软件架构，用于大规模数据集群分布式运算。任务的分解（Map）与结果的汇总（Reduce）是其主要思想。Map就是将一个任务分解成多个任务，Reduce就是将分解后多任务分别处理，并将结果汇总为最终结果。熟悉Function Language的人一定感觉很熟悉，不是什么新的思想。

MapReduce 处理流程

上图就是MapReduce大致的处理流程。在Map之前，可能还有对输入数据的Split过程以保证任务并行效率，在Map之后可能还有Shuffle过程来提高Reduce的效率以及减小数据传输的压力。

Hadoop

Hadoop被定位为一个易于使用的平台，以HDFS、MapReduce为基础，能够运行上千台PCServer组成的系统集群，并以一种可靠、容错的方式分布式处理请求。

Hadoop 部署

下图显示Hadoop部署结构示意图

在Hadoop的系统中，会有一台master，主要负责NameNode的工作以及JobTracker的工作。JobTracker的主要职责就是启动、跟踪和调度各个Slave的任务执行。还会有多台slave，每一台slave通常具有DataNode的功能并负责TaskTracker的工作。TaskTracker根据应用要求来结合本地数据执行Map任务以及Reduce任务。

Hadoop 处理流程

在描述Hadoop处理流程之前，先提一个分布式计算最为重要的设计原则：Moving Computation is Cheaper than Moving Data。意思是指在分布式计算中，移动计算的代价总是低于移动数据的代价。本地计算使用本地数据，然后汇总才能保证分布式计算的高效性。下图所示Hadoop处理流程：