Hadoop的一些相关信息

1、hadoop的诞生

Nutch和Lucene之父Doug Cutting在2006年完成Hadoop项目。

Hadoop并不是一个单词&＃xff0c;它来源于Doug Cutting小儿子对所玩的小象玩具牙牙学语的称呼。就像是google也是由小孩子命名一样。

后又经过5年的开发&＃xff0c;hadoop在所有云计算系统是稳居第一。

Hadoop目前使用最广泛的版本为hadoop-0.20版本。目前最新版本为hadoop-1.03。

Hadoop运行在Linux系统中。在windows上安装可使用cgywin模拟linux环境。

2、hadoop的组成

hadoop Common – 是hadoop的核心&＃xff0c;包括文件系统、远程调用RPC的序列化函数。

HDSF : 提供高吞吐量的可靠分布式文件系统是 GFS的开源实现。

· Hadoop的文件系统。必须通过hadoop  fs 命令来读取。支持分布式。

MapReduce : 大型分布式数据处理模型&＃xff0c;是Google MapReduce的开源实现。

· 合并/计算模型。

其他相关组成&＃xff1a;

• Hbase&＃xff1a;结构化分部式数据库。BigTable的开源实现。

• Hive:提供摘要和查询功能的数据仓库。

• Cassandra:由Facebook开发分布式数据仓库。目前已经捐献给apache。且apache已经将Cassandra应用到了各种云计算系统中。

3、hadoop的体系结构

NameNode  - 主节点 主服务器

SecondaryNameNode – 是辅助nameNode

DataNode  -数据保存用的

TaskTracker – 接收任务

JobTracker  - 分数据 -100M  Datanode1,DataNode2,DataNode3

NameNode:这是hadoop的守护进程(注意是进程JVM)。负责记录文件是如何分割成数据块&＃xff0c;以及这些数据块分别存储到哪些数据节点上。对内存进行集中管理。NameNode在整个hadoop中只有一个。一旦NameNode服务器宕机&＃xff0c;整个系统将无法运行。

DataNode:集群中的每个从服务器都运行一个DataNode后台程序。这个后台程序负责将HDFS数据块写到本地的文件系统。

Secondary NomeNode:用来监控HDFS状态的辅助后台程序。如保存NameNode的快照。

JobTracker:用户连接应用程序和hadoop。每一个hadoop集群中只一个 JobTracker,一般它运行在Master节点上。

TaskTracker:负责与DataNode进行结合。

4、Hadoop的市场

facebook 

淘宝

360

京东

yahoo

google

暴风