hadoop入门(5)：了解hadoop

hadoop的起源

• 
  

  阶段一

  
  Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。


• 
  

  阶段二

  
  2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。
  
  ——分布式文件系统（GFS），可用于处理海量网页的存储
  
  ——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。


• 
  

  阶段三

  
  Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目(同年，cloudera公司成立)，迎来了它的快速发展期。
  
  狭义上来说，hadoop就是单独指代hadoop这个软件，
  
  广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件
  
  

hadoop的版本及选择

• 
  

  hadoop发展版本

  
  
  
  
  • 
    

    0.x版本：hadoop较早的一个开源版本，在此基础上发展的1.x和2.x版本

    
    
  
  
  • 
    

    1.x版本：hadoop的第二代开源版本，主要修复了0.x版本的一些bug

    
    
  
  
  • 
    

    2.x版本：架构发生了重大变化，引入了yarn平台，也是现在生产环境中使用最多的版本

    
    
  
  
  • 
    

    3.x版本：在2.x版本基础上引入了一些hdfs新性质，且已发展为稳定版本，未来公司使用趋势

    
    
  
  
  
  


• 
  

  hadoop发行版本

  
  
  
  
  • 
    

    Apache版本

    
    最基础的版本适合入门学习
  
  
  • 
    

    Cloudera版本

    
    大型互联网企业使用
  
  
  • 
    

    Hortonworks版本

    
    文档很不错
  
  
  • 
    

    ……

    
    
  
  
  
  

hadoop的运行模式

• 
  

  本地运行模式

  无需任何守护进程，所有进程都在一个JVM上运行。在独立模式下调试MR程序的时候非常高效方便。所以一般该模式下一般是学习或开发阶段调试使用

  
  


• 
  

  伪分布式运行模式

  hadoop的守护进程运行在本地机器上，模拟一个小规模的集群，换句话说可以配置一台机器的hadoop集群
  
  伪分布式是完全分布式的一个特例

  
  


• 
  

  完全分布式运行模式（重点）

  hadoop守护进程运行在一个集群上，需要多台机器来实现完全分布式服务的安装

  
  

hadoop的架构模块

• 
  

  hadoop由三个模块组成

  
  
  
  
  • 分布式存储HDFS
  
  
  • 分布式计算MapReduce
  
  
  • 资源调度引擎YARN
  
  
  
  

• 
  

  关键词

  
  
  
  
  • 分布式
  
  
  • 主从架构
  
  
  
  

HDFS架构剖析

• 
  

  分块存储

  
  
  
  
  • 在hadoop2.x中，保存文件到HDFS时，会默认按128M的单位将文件分割成一个个block块
  
  
  • 数据以block块的形式存储在HDFS文件系统中
    
    
    
    • block块的大小可以在hdfs-site.xml中进行修改
    
    
    • hdfs-default.xml
    
    
    
    
  
  
  
  


dfs.blocksize
块的大小，以字节为单位



• 
  

  副本存储

  
  
  
  
  • 为了保存block块的安全性，也就是数据的安全性，在hadoop2.x中采用文件，默认保存三个副本，我们可以更改副本的数量来提高数据的安全性
    
    
    
    • 副本的数量可以在hdfs-site.xml中进行修改
    
    
    
    
  
  
  
  


dfs.replication
3



• 
  

  抽象成块的好处

  
  
  
  
  • 可以存放很大的文件
  
  
  • 使用块抽象而不是文件，可以很好简化存储子系统
  
  
  • 块非常适合数据备份，进而提供输入容错性和可用性
  
  
  
  


• 
  

  HDFS架构

  
  
  
  
  • 
    

    HDFS集群包括：NameNode、DataNode、Secondary NameNode

    
    
    
    
    • NameNode：负责管理整个系统的元数据，以及每一个路径（文件）所对应的数据块信息
    
    
    • DataNode：负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本
    
    
    • Secondary NameNode：用来监控HDFS系统状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。最主要的作用是辅助namenode管理元数据信息。