【原创】七、Hadoop2.5.2+zookeeper高可用部署

一、原理（四大要点）

（1）保证元数据一致（edits）

namenode（fsimage  edits）

a、NFS

b、journalnode

c、zk

（2）只有一台namenode对外提供服务（proxy）

（3）接受datanode的心跳

（4）隔离

二、HDFS HA启动并测试

在Bigdata01.xxxx.com中配置：

Core-site.xml

hdfs-site.xml

把hadoop分别拷贝到bigdata02与bigdata03

$scp -r hadoop-2.5.2/ bigdata03.xxxx.com:/home/jit/app

按照以下步骤启动

启动服务

Step1 :启动Zookeeper集群bin/zkServer.sh start

在各个JournalNode节点上，输入以下命令启动journalnode服务：

$ sbin/hadoop-daemon.sh start journalnode

Step2:在[nn1]上，对其进行格式化，并启动：

$ bin/hdfs namenode –format

初始化HA在Zookeeper中状态bin/hdfs zkfc -formatZK

$ sbin/hadoop-daemon.sh start namenode

在各个NameNode节点上启动DFSZK Failover Controller，先在那台机器启动，那个机器的NameNode就是Active NameNode

sbin/hadoop-daemin.sh start zkfc

Step3:在[nn2]上，同步nn1的元数据信息：

$ bin/hdfs namenode -bootstrapStandby

Step4:启动[nn2]：

$ sbin/hadoop-daemon.sh start namenode

Step6:在[nn1]上，启动所有datanode

$ sbin/hadoop-daemons.sh start datanode

Bigdata01

Bigdata02

Bigdata03

Kill -9 bigdata01的namenode

Bigdata02变为active

上传文件

三、和ResouceManager Restart功能及配置部署与测试

三台机器yarn-site.xml分配进行配置

进行yarn启动，并查看yarn的状态

Kill掉rm1后

Rm2状态变为active

重启rm1后状态变为standy