CDH4简介

We believe that during 2012, enterprise distributions of Hadoop will mature enough that enterprises will accelerate production deployments and begin to yield  tangible organizational value.

— Ben Woo, VP, Storage and Big Data, IDC

随着大数据之说日渐人心&＃xff0c;越来越来多的企业把目光投向了Hadoop&＃xff0c;希望采用Hadoop来建立其数据驱动平台。因此&＃xff0c;如何让Hadoop能更好地满足企业需求&＃xff0c;就成为众多Hadoop产商争夺用户的焦点。

一般来说&＃xff0c;企业的需求体现在如下几个方面&＃xff1a;

&＃xff0d;和企业已有的&＃xff29;&＃xff34;系统的结合&＃xff0c;以保护企业已有的投资。

&＃xff0d;数据和访问安全性&＃xff0c;保护商业价值

&＃xff0d;可扩展性&＃xff0c;允许系统随着企业需求的增长而增长&＃xff0c;而无需一次性投入建立一个庞大的系统

&＃xff0d;高可靠性&＃xff0c;尽量降低或消除down time

- 简易的安装和部署&＃xff0c;目前Hadoop人才紧缺&＃xff0c;经验普遍欠缺&＃xff0c;而系统往往涉及大量的软硬件资源&＃xff0c;如何降低管理成本&＃xff0c;同时又能达到最优的系统性能&＃xff0c;非常关键

&＃xff0d;高质量和快速的支持和服务

对此&＃xff0c;Cloudera和Hortonworks这两家提供100%开源Hadoop发行版的公司都在于近期结束的Hadoop Summit召开之前及时推出了其Hadoop产品和解决方案。Cloudera推出了CDH4 GA版 (General Availability)以及Cloudera Enterprise 4&＃xff0c;而Hortonworks则推出了Hortonworks Data Platform 1.0 。这显示了2012年将是Hadoop企业版走向成熟的一年&＃xff0c;也将是Hadoop厂商一决雌雄的关键一年。奇怪的是&＃xff0c;我注意到&＃xff0c;作为纯Hadoop厂商三驾马车之一的MapR这一次却在Hadoop Summit召开期间及前后没有推出更新的稳定版本&＃xff1b;更加费解的是&＃xff0c;他们也没有派出Speaker参加Summit做主题演讲或技术产品报告&＃xff0c;听由这次Summit变成Cloudera和Hortonworks两家你唱罢我登台的走秀场&＃xff08;两个公司在这次峰会上均有多达10人左右的speaker &＃xff09;。但愿这可能是由于其产品开发档期不同&＃xff0c;或者是由于其忙于推出Hadoop-as-a-service而不代表MapR退出Hadoop发行版的竞争(update: MapR于28日公布了和Google合作-在Google Compute Engine上部署运行MapR&＃xff0c;加上不久前MapR公布的和Amazon的合作&＃xff0c;看来其市场策略更偏重于在云服务市场上的竞争。不过&＃xff0c;这些市场应该在可以预见的相当长的时间里跟绝大多数国人无关&＃xff0c;至少在争夺中国这个大市场上&＃xff0c;是不是意味着MapR拜GFW所赐输在了起跑线上呢)。

作为Hadoop领域里的“老大”和生力军&＃xff0c;Cloudera新近推出的CDH4突出的新特性包括以下三方面&＃xff1a;

- High Availability/HA

这主要包括Name Node High Availability&＃xff0c;以及允许在同一个Cluster里运行CDH3和CDH4&＃xff08;所谓的"Heterogeneous Cluster"&＃xff09;。

- Security

除了已经 为HDFS提供的Kerberos&＃xff0c;现在可以允许对HBase的表和列进行访问控制&＃xff1b;另外&＃xff0c;CDH4加入了对Fair Scheduler ACL的支持&＃xff0c;对管理和递交到Fair Scheduler Pool的作业进行控制。以往像张三那样可以随心所欲地把作业递交到李四pool里的日子可能一去不复返了 :-)

- Extensibility

这主要是通过加入co-processor和MPv2&＃xff0c;允许用户运行更多定制的程序和使用不同的计算平台。

下面对CDH4 GA版的更新做一些概括性的介绍&＃xff0c;详细信息可以参考Cloudera网站上的相应文档&＃xff0c;下面是其相关Blog报道: http://www.cloudera.com/blog/2012/06/cdh4-and-cloudera-enterprise-4-0-now-available。

• 新的版本号

CDH4采用了新的版本记法。在CDH4之前&＃xff0c;CDH按照CDHxUy来命名&＃xff0c;譬如CDH3u0, CDH3u1等等。从CDH4开始&＃xff0c;版本号命名格式为CDH　X.Y.Z。其中X是主版本号&＃xff0c;意味着重大变更&＃xff1b;Y是次版本号&＃xff0c;类似于之前的“update”版本号&＃xff1b;Z是点版本号&＃xff0c;对应于一些critical fixes。下面是CDH4发行版所包括的组件版本号。

• 很多属性被重新命名

譬如fs.default.name现在变成了fs.defaultFS。不过不用担心的是&＃xff0c;老的名字还能继续被使用。 

• 包含Flume NG

CDH4及以后版本将主打Flume NG (next generation Flume)。Flume NG被重新设计和改写&＃xff0c;极大地降低了内存的消耗。目前CDH4仍然包含Flume OG(original Flume)&＃xff0c;不过将逐渐被淘汰掉。需要注意的是&＃xff0c;Flume NG和Flume OG在API上是不兼容的。

• Name Node Federation

NameNode Federation 允许配置多个name space在多个Name Node上&＃xff0c;而这些Name Node之间是相互独立的&＃xff0c;不互相通信。这给Hadoop集群带来了更好的伸缩性&＃xff0c;更好的性能和容错性。在客户端则可以通过ViewFS从多个Name Space中选取全部或者部分来组建所需的文件系统视图来使用HDFS。这好比在Linux 系统中使用/etc/fstab来安装文件系统到当前运行的系统中。

譬如在下图中&＃xff0c;可能有两个Name Node&＃xff0c;第一个负责/users&＃xff0c;另一个负责/reports。而所有Name Node存储的实际数据&＃xff08;block&＃xff09;则可以存储在任意一个slave node上&＃xff0c;也就是说所有的slave nodes为所有的Name Nodes所共享。

• Name Node HA (High Availability)
  

以前版本里的Name Node是SPOF&＃xff08;Single Point Of Failure&＃xff09;。CDH4则包含了Apache Hadoop 0.23.x引进的HDFS HA特性。通过部署两个Name Node&＃xff0c;一个active&＃xff0c;另一个standby。HDFS客户&＃xff08;包括Data Node &＃xff09;只与active NN联系&＃xff0c;standby NN仍然给active NN做Check Pointing (所以Secondary Name Node不再需要了)&＃xff0c;同时通过维护active NN的状态来在active NN失效的情况下接管active NN的角色。CDH4支持两种FailOver&＃xff0c;自动和手动。

值得提出的是&＃xff0c;Name Node HA和Name Node Federation是不互相牵制的。你可以只有HA或者只有Federation&＃xff0c;也可以两个都配置。

• MRv2

MapReduce Version 2, 简称MRv2&＃xff0c;也被称为YARN　&＃xff08;Yet Another Resource Negotiator&＃xff09;&＃xff0c;起始于Hadoop 0.23分支。使用CDH4&＃xff0c;可以选择运行MRv1或者MRv2&＃xff0c;但两者不能在一个集群里同时运行。MRv2 和新旧MapReduce API 没有关系&＃xff0c;仅指MapReduce体系结构上的变化。MRv1和MRv2应用在源代码上是兼容的。这意味着以前为MRv1 编写的MapReduce程序不需要改写。但如果需要运行在CDH4部署的系统上&＃xff0c;不管选择运行MRv1还是MRv2&＃xff0c;都需要重新编译生成代码。需要提请注意的是&＃xff0c;MRv2 目前还不是Production Ready&＃xff0c;所以不要用于生产环境。

在MRv1里的一个Job&＃xff0c;在MRv2 里则被称为一个Application。  每个Cluster拥有一个Resource Manager。每个Slave Node则运行一个Node Manager&＃xff0c;来监控和管理该节点上的资源使用情况。在运行Job的时候&＃xff0c;和MRv1相似&＃xff0c;每个Slave Node运行Map和/或者Reduce Task。对应每个Job&＃xff08;application&＃xff09;&＃xff0c;有一个Application Master&＃xff08;运行在某个Slave Node上&＃xff09;&＃xff0c;负责管理application的生命周期&＃xff0c;向resource manager申请资源&＃xff0c;以及监控task的状态等&＃xff08;譬如重启出错任务&＃xff09;。这种体系结构相当于解脱了MRv1 里JobTracker繁忙的管理所有资源及调度管理Job/Task状态的职责&＃xff0c;使得MRv2能支持在更大的集群上运行更多的MapReduce应用。

MRv2重新设计了MapReduce的体系结构&＃xff0c;其设计目的是不仅仅支持运行MapReduce&＃xff0c;还支持很多其他计算系统&＃xff0c;包括有&＃xff1a;

Hamster: MPI &＃64; Hadoop

Hama: Bulk Synchronous Parallel (BSP) processing

Giraph: Graph processing framework

当然&＃xff0c;以上只是一些简介&＃xff0c;更多的了解可以参考Cloudera网站&＃xff0c;并下载和实际使用CHD4。

最后&＃xff0c;Cloudera把CH4&＃43;CM4&＃xff08;Cloudera Manager&＃xff09;号称为最完整最先进的基于Hadoop的企业解决方案&＃xff0c;所以&＃xff0c;我就顺带简单列举一下作为Hadoop安装部署和管理监控工具的CM4的几个优势&＃xff0c;供参考。

&＃xff0d;易用性

3-step HA configuration

Multi-cluster management

Backward compatibility

- 功能强大

Heatmaps

Federated NN management

- 易于扩充和集成

Cloudera manager API

LDAP authentication,login against Active Directory

etc.