Hadoop集群(CDH4)实践之(0)前言

目录结构 Hadoop集群(CDH4)实践之 (0) 前言 Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建 Hadoop集群(CDH4)实践之 (2) HBaseZookeeper搭建 Hadoop集群(CDH4)实践之 (3) Hive搭建 Hadoop集群(CHD4)实践之 (4) Oozie搭建 Hadoop集群(CHD4)实践之 (5) Sqoop安

目录结构
Hadoop集群(CDH4)实践之 (0) 前言
Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建
Hadoop集群(CDH4)实践之 (2) HBase&Zookeeper搭建
Hadoop集群(CDH4)实践之 (3) Hive搭建
Hadoop集群(CHD4)实践之 (4) Oozie搭建
Hadoop集群(CHD4)实践之 (5) Sqoop安装

本文内容
Hadoop集群(CDH4)实践之 (0) 前言

下面进入正文
在我初学Hadoop的期间，我写过一个系列的Hadoop入门文章，第一篇就是《Hadoop集群实践 之 (0) 完整架构设计》
在之前的系列文章中，我对Hadoop的一些入门概念也进行了讲解，主要是针对我曾经所遇到过的一些疑惑。
同时，在之前的系列文章中，我还列出了一些小的操作Demo来加深对各个工具的理解。

那么为什么这次又要写这个系列的文章呢，看起来内容感觉都是重复的。
其实，主要是由于以下原因：
1. 之前的文章是基于Ubuntu 10.10 系统，也同样适用于新版的Ubuntu，但是采用CentOS作为生产环境的情况更多；
同时由于Ubuntu有一些改动与开源社区的步伐不太一致，因此目前有唱衰Ubuntu的趋势。
2. CentOS随着EPEL等扩展库的规范和快速发展，目前已经具备了和Ubuntu同等规模的丰富的软件库，通过YUM安装和部署软件也非常的方便；
3. 之前的文章是基于CDH3的，而目前Hadoop的发展，CDH4已经成为了主流，同时具备CDH3所不具备的一些功能，我觉得最有用的功能有以下：
a) NameNode HA，与secondary namenode不同，CDH4提供了一种HA的方式，可以确保双节点NameNode；
b) TaskTracker 提供了容错机制，可以确保并行计算过程中，不会因为某一个节点出错而导致整个并行计算的失败；

因此，基于以上原因，本文是在CentOS 6.4 x86_64的系统上，基于CDH4的环境下完成的。
不过，目前还没有完成Namenode HA 和 TaskTracker容错的测试，相关内容暂时还无法看到。
同时，本文采用了非YARN方式，而是与CDH3相同的MRv1计算框架，为了确保公司之前线上环境所开发的代码能够准确无误的运行。

下面，就让我们开始整个实战演练过程：
Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建
Hadoop集群(CDH4)实践之 (2) HBase&Zookeeper搭建
Hadoop集群(CDH4)实践之 (3) Hive搭建
Hadoop集群(CHD4)实践之 (4) Oozie搭建
Hadoop集群(CHD4)实践之 (5) Sqoop安装