转自：http://blog.csdn.net/sdlyjzh/article/details/28876385

 

Hadoop其实并不是一个产品，而是一些独立模块的组合。主要有分布式文件系统HDFS和大型分布式数据处理库MapReduce。由于目前主要用到HDFS，所以这里看一下它的工作原理，以及相应的介绍下配置。

什么是HDFS？Hadoop Distributed File System，字面意思，Hadoop分布式文件系统，通俗的讲，就是可以将不同节点的设备用来存储。它分为两个部分：NameNode和DateNode，NameNode相当于一个领导，它管理集群内的DataNode，当客户发送请求过来后，NameNode会根据情况指定存储到哪些DataNode上，而其本身自己并不存储真实的数据。那NameNode怎么知道集群内DataNode的信息呢？DataNode发送心跳信息给NameNode。

下面工作原理我就直接copy了。。

工作原理

写操作：

有一个文件FileA，100M大小。Client将FileA写入到HDFS上。

HDFS按默认配置。

HDFS分布在三个机架上Rack1，Rack2，Rack3。

 

a. Client将FileA按64M分块。分成两块，block1和Block2;

b. Client向nameNode发送写数据请求，如图蓝色虚线①------>。

c. NameNode节点，记录block信息。并返回可用的DataNode，如粉色虚线②--------->。

    Block1: host2,host1,host3

    Block2: host7,host8,host4

    原理：

        NameNode具有RackAware机架感知功能，这个可以配置。

        若client为DataNode节点，那存储block时，规则为：副本1，同client的节点上；副本2，不同机架节点上；副本3，同第二个副本机架的另一个节点上；其他副本随机挑选。

        若client不为DataNode节点，那存储block时，规则为：副本1，随机选择一个节点上；副本2，不同副本1，机架上；副本3，同副本2相同的另一个节点上；其他副本随机挑选。

d. client向DataNode发送block1；发送过程是以流式写入。

    流式写入过程，

        1>将64M的block1按64k的package划分;

        2>然后将第一个package发送给host2;

        3>host2接收完后，将第一个package发送给host1，同时client想host2发送第二个package；

        4>host1接收完第一个package后，发送给host3，同时接收host2发来的第二个package。

        5>以此类推，如图红线实线所示，直到将block1发送完毕。

        6>host2,host1,host3向NameNode，host2向Client发送通知，说“消息发送完了”。如图粉红颜色实线所示。

        7>client收到host2发来的消息后，向namenode发送消息，说我写完了。这样就真完成了。如图黄色粗实线

        8>发送完block1后，再向host7，host8，host4发送block2，如图蓝色实线所示。

        9>发送完block2后，host7,host8,host4向NameNode，host7向Client发送通知，如图浅绿色实线所示。

        10>client向NameNode发送消息，说我写完了，如图黄色粗实线。。。这样就完毕了。

分析，通过写过程，我们可以了解到：

    ①写1T文件，我们需要3T的存储，3T的网络流量贷款。

    ②在执行读或写的过程中，NameNode和DataNode通过HeartBeat进行保存通信，确定DataNode活着。如果发现DataNode死掉了，就将死掉的DataNode上的数据，放到其他节点去。读取时，要读其他节点去。

    ③挂掉一个节点，没关系，还有其他节点可以备份；甚至，挂掉某一个机架，也没关系；其他机架上，也有备份。

OK，复制到此结束，我们结合配置文件具体了解一下：

core-site.xml，核心配置文件

  fs.defaultFS

    hdfs://10.10.129.188:7001 （注：这个属性值是hdfs的NameNode的节点地址和端口号，需要根据业务需求而变更）

    The name of the default file system.  A URI whose

      scheme and authority determine the FileSystem implementation.  The

      uri's scheme determines the config property (fs.SCHEME.impl) naming

      the FileSystem implementation class.  The uri's authority is used to

      determine the host, port, etc. for a filesystem.

 

  hadoop.tmp.dir

  /home/cdh/cdh/hadoop-2.0.0-cdh4.2.1/tmp(注：这个属性值请根据实际情况修改，这里需要预先手动在/home/cdh/cdh/hadoop-2.0.0-cdh4.2.1路径下创建tmp文件夹。secondarynamenode的目录系统默认为${hadoop.tmp.dir}/dfs/namesecondary，如果没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoop-cdh。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。)

  A base for other temporary directories.

hdfs-site.xml

修改为：

    dfs.namenode.name.dir

    file:/data/hadoop-2.0.0/workspace/hadoop_space/hadoop23/dfs/name

（这个是配置namenode目录的地方）

    true

    dfs.datanode.data.dir

file:/data/hadoop-2.0.0/workspace/hadoop_space/hadoop23/dfs/data

（这个是配置datanode目录的地方，也就是datanode存储文件的路径）

    true

dfs.replication

（这个是配置备份因子）

    1

    dfs.permission

    false

    dfs.namenode.secondary.http-address

    10.10.129.186:50090(注：配置secondarynamenode的IP和端口号)

    The secondary namenode http server address and port.