HadoopHA高可用之旅

1. HA&＃xff08;High Availablity&＃xff09;: 高可用&＃xff08;7*24 小时不中断服务&＃xff09;

2. 实现高可用的策略 : 消除单点故障。 HA 严格来说应该分成各个组件的 HA机制&＃xff1a; HDFS 的 HA 和 YARN 的 HA

3. NameNode 主要在以下两个方面影响 HDFS 集群 :
   NameNode 机器发生意外&＃xff0c;如 : 宕机&＃xff0c;集群将无法使用&＃xff0c;直到管理员重启
   NameNode 机器需要升级&＃xff0c;如 : 软件、硬件升级&＃xff0c;此时集群也将无法使用

HDFS HA 功能通过配置多个 NameNodes(Active / Standby) 实现在集群中对 NameNode 的热备来解决这些问题

如果出现故障&＃xff0c;如 : 机器崩溃或机器需要升级维护&＃xff0c;就通过 HA 将 NameNode 很快的切换到另外一台机器

当前 HDFS 集群的规划

HA 目的 : 消除 NameNode 的单点故障 , 所以 HDFS 集群规划成以下模样

HDFS-HA 核心问题

保证三台 namenode 的数据一致

• Fsimage : 让一台 nn 生成数据 , 让其他机器 nn 同步
• Edits : 需要引进新的模块 JournalNode 来保证 edtis 的文件的数据一致性

同时只有一台 nn 是 active&＃xff0c;其他所有是 standby

• 手动分配
• 自动分配

2nn 在 ha 架构中并不存在&＃xff0c;定期合并 fsimage 和 edtis 的活谁来干

• 由 standby 的 nn 来干

nn 真的发生了问题&＃xff0c;怎么让其他的 nn 上位干活

• 手动故障转移
• 自动故障转移

环境准备

• 修改 IP
• 修改主机名及主机名和 IP 地址的映射
• 关闭防火墙
• ssh 免密登录
• 安装 JDK&＃xff0c;配置环境变量等

规划集群

配置 HDFS-HA 集群

官方地址

http://hadoop.apache.org/

在 opt 目录下创建一个 ha 文件夹

cd /opt


sudo mkdir ha


将/opt/module/下的 hadoop-3.1.3 拷贝到/opt/ha 目录下&＃xff08;记得删除 data 和 log 目录&＃xff09;

cp -r /opt/module/hadoop-3.1.3 /opt/ha/


配置 core-site.xml

<configuration><property><name>fs.defaultFSname><value>hdfs://myclustervalue>property><property><name>hadoop.tmp.dirname><value>/opt/ha/hadoop-3.1.3/datavalue>property>
configuration>


配置 hdfs-site.xml

<configuration><property><name>dfs.namenode.name.dirname><value>file://${hadoop.tmp.dir}/namevalue>property><property><name>dfs.datanode.data.dirname><value>file://${hadoop.tmp.dir}/datavalue>property><property><name>dfs.journalnode.edits.dirname><value>${hadoop.tmp.dir}/jnvalue>property><property><name>dfs.nameservicesname><value>myclustervalue>property><property><name>dfs.ha.namenodes.myclustername><value>nn1,nn2,nn3value>property><property><name>dfs.namenode.rpc-address.mycluster.nn1name><value>cpucode100:8020value>property><property><name>dfs.namenode.rpc-address.mycluster.nn2name><value>cpucode101:8020value>property><property><name>dfs.namenode.rpc-address.mycluster.nn3name><value>cpucode102:8020value>property><property><name>dfs.namenode.http-address.mycluster.nn1name><value>cpucode100:9870value>property><property><name>dfs.namenode.http-address.mycluster.nn2name><value>cpucode101:9870value>property><property><name>dfs.namenode.http-address.mycluster.nn3name><value>cpucode102:9870value>property><property><name>dfs.namenode.shared.edits.dirname><value>qjournal://cpucode100:8485;cpucode101:8485;cpucode102:8485/myclustervalue>property><property><name>dfs.client.failover.proxy.provider.myclustername><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvidervalue>property><property><name>dfs.ha.fencing.methodsname><value>sshfencevalue>property><property><name>dfs.ha.fencing.ssh.private-key-filesname><value>/home/root/.ssh/id_rsavalue>property>
configuration>


分发配置好的 hadoop 环境到其他节点

xsync /ha


启动 HDFS-HA 集群

将 HADOOP_HOME 环境变量更改到 HA 目录(三台机器)

sudo vim /etc/profile.d/my_env.sh


将 HADOOP_HOME 部分改为如下

#HADOOP_HOMEexport HADOOP_HOME&＃61;/opt/ha/hadoop-3.1.3
export PATH&＃61;$PATH:$HADOOP_HOME/bin
export PATH&＃61;$PATH:$HADOOP_HOME/sbin


去三台机器上 source 环境变量

source /etc/profile


在各个 JournalNode 节点上&＃xff0c;输入以下命令启动 journalnode 服务

hdfs --daemon start journalnode


在[nn1]上&＃xff0c;对其进行格式化&＃xff0c; 并启动

hdfs namenode -format


hdfs --daemon start namenode


在[nn2]和[nn3]上&＃xff0c;同步 nn1 的元数据信息

hdfs namenode -bootstrapStandby


启动[nn2]和[nn3]

hdfs --deamon start namenode


查看 web 页面显示

在所有节点上&＃xff0c;启动 datanode

hdfs --deamon start datanode


将[nn1]切换为 Active

hdfs haadmin &＃61;&＃61;transitionToActive nn1


查看是否 Active

hdfs haadmin -getServiceState nn1

HDFS-HA 自动模式

HDFS-HA 自动故障转移工作机制

自动故障转移为 HDFS 部署增加了两个新组件&＃xff1a; ZooKeeper 和 ZKFailoverController&＃xff08;ZKFC&＃xff09;进程&＃xff0c;如图所示。 ZooKeeper 是维护少量协调数据&＃xff0c;通知客户端这些数据的改变和监视客户端故障的高可用服务

同时出现两个 Active 状态
namenode 的术语叫脑裂 brain split

防止脑裂的两种方式&＃xff1a;

• ssh发送kill指令
• 调用用户自定义脚本程序

HDFS-HA 自动故障转移的集群规划

配置 HDFS-HA 自动故障转移

具体配置

hdfs-site.xml

<property><name>dfs.ha.automatic-failover.enabledname><value>truevalue>property>


core-site.xml

<property><name>ha.zookeeper.quorumname><value>cpucode100:2181,cpucode101:2181,cpucode102:2181value>property>


修改后分发配置文件

xsync hadoop/


启动

关闭所有 HDFS 服务

stop-dfs.sh


启动 Zookeeper 集群

zkServer.sh start


启动 Zookeeper 以后&＃xff0c; 然后再初始化 HA 在 Zookeeper 中状态

hdfs zkfc -formatZK


启动 HDFS 服务

start-dfs.sh


zkCli.sh 客户端查看 Namenode 选举锁节点内容

get -s /hadoop-ha/mycluster/ActiveStandbyElectorLock


验证

将 Active NameNode 进程 kill&＃xff0c;查看网页端三台 Namenode 的状态变化

kill -9 namenode 的进程 id


解决 NN 连接不上 JN 的问题

自动故障转移配置好以后&＃xff0c;然后使用 start-dfs.sh 群起脚本启动 hdfs 集群&＃xff0c;有可能会遇到 NameNode 起来一会后&＃xff0c;进程自动关闭的问题

查看报错日志&＃xff0c;可分析出报错原因是因为 NameNode 连接不上 JournalNode&＃xff0c;而利用 jps 命令查看到三台 JN 都已经正常启动&＃xff0c;为什么 NN 还是无法正常连接到 JN 呢&＃xff1f;这是因为 start-dfs.sh 群起脚本默认的启动顺序是先启动 NN&＃xff0c;再启动 DN&＃xff0c;然后再启动 JN&＃xff0c;并且默认的 rpc 连接参数是重试次数为 10&＃xff0c;每次重试的间隔是 1s&＃xff0c;也就是说启动完 NN以后的 10s 中内&＃xff0c; JN 还启动不起来&＃xff0c; NN 就会报错了

core-default.xml

<property><name>ipc.client.connect.max.retriesname><value>10value>property><property><name>ipc.client.connect.retry.intervalname><value>1000value>property>


解决方案&＃xff1a;遇到上述问题后&＃xff0c;可以稍等片刻&＃xff0c;等 JN 成功启动后&＃xff0c;手动启动下三台 NN&＃xff1a;

hdfs --daemon start namenode


core-site.xml里面适当调大上面的两个参数

<property><name>ipc.client.connect.max.retriesname><value>20value>property><property><name>ipc.client.connect.retry.intervalname><value>5000value>property>

YARN-HA 配置

官网 : https://hadoop.apache.org/docs/r3.1.3/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA

YARN-HA 工作机制

配置 YARN-HA 集群

环境准备

• 修改 IP
• 修改主机名及主机名和 IP 地址的映射
• 关闭防火墙
• ssh 免密登录
• 安装 JDK&＃xff0c;配置环境变量等
• 配置 Zookeeper 集群

规划集群

核心问题

当前 active rm 挂了&＃xff0c;其他 rm 怎么将其他 standby rm 上位

核心原理跟 hdfs 一样&＃xff0c;利用了 zk 的临时节点

前 rm 上有很多的计算程序在等待运行 ,其他的 rm 怎么将这些程序接手过来接着跑

rm 会将当前的所有计算程序的状态存储在 zk 中,其他 rm 上位后会去读取&＃xff0c;然后接着跑

具体配置

yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-servicesname><value>mapreduce_shufflevalue>property><property><name>yarn.resourcemanager.ha.enabledname><value>truevalue>property><property><name>yarn.resourcemanager.cluster-idname><value>cluster-yarn1value>property><property><name>yarn.resourcemanager.ha.rm-idsname><value>rm1,rm2,rm3value>property><property><name>yarn.resourcemanager.hostname.rm1name><value>cpucode100value>property><property><name>yarn.resourcemanager.webapp.address.rm1name><value>cpucode100:8088value>property><property><name>yarn.resourcemanager.address.rm1name><value>cpucode100:8032value>property><property><name>yarn.resourcemanager.scheduler.address.rm1name><value>cpucode100:8030value>property><property><name>yarn.resourcemanager.resource-tracker.address.rm1name><value>cpucode100:8031value>property><property><name>yarn.resourcemanager.hostname.rm2name><value>cpucode101value>property><property><name>yarn.resourcemanager.webapp.address.rm2name><value>cpucode101:8088value>property><property><name>yarn.resourcemanager.address.rm2name><value>cpucode101:8032value>property><property><name>yarn.resourcemanager.scheduler.address.rm2name><value>cpucode101:8030value>property><property><name>yarn.resourcemanager.resource-tracker.address.rm2name><value>cpucode101:8031value>property><property><name>yarn.resourcemanager.hostname.rm3name><value>cpucode102value>property><property><name>yarn.resourcemanager.webapp.address.rm3name><value>cpucode102:8088value>property><property><name>yarn.resourcemanager.address.rm3name><value>cpucode102:8032value>property><property><name>yarn.resourcemanager.scheduler.address.rm3name><value>cpucode102:8030value>property><property><name>yarn.resourcemanager.resource-tracker.address.rm3name><value>cpucode102:8031value>property><property><name>yarn.resourcemanager.zk-addressname><value>cpucode100:2181,cpucode101:2181,cpucode102:2181value>property><property><name>yarn.resourcemanager.recovery.enabledname><value>truevalue>property><property><name>yarn.resourcemanager.store.classname><value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStorevalue>property><property><name>yarn.nodemanager.env-whitelistname><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOMEvalue>property>
configuration>


同步更新其他节点的配置信息&＃xff0c;分发配置文件

xsync hadoop/


启动 YARN

在 cpucode100 或者 cpucode101 中执行&＃xff1a;

start-yarn.sh


查看服务状态

yarn rmadmin -getServiceState rm1


可以去 zkCli.sh 客户端查看 ResourceManager 选举锁节点内容

zkCli.sh


get -s /yarn-leader-election/cluster-yarn1/ActiveStandbyElectorLock


web 端查看 cpucode100:8088 和 cpucode101:8088 的 YARN 的状态