hadoop高可用联邦模式集群搭建

一、环境准备与系统优化

1.1、hadoop组件介绍

(1) hdfs

(2) yarn

1.2、主机规划

系统：Centos7.3

• zkfc 是 Zookeeper FailoverController 的简称，主要用于实现两个namenode之间的容灾；


• resourcemanager 是 yarn 中负责资源协调和管理的进程；


• nodemanager 是 yarn 中单个节点上的代理进程，向 resourcemanager 汇报信息，监控该节点资源；


• datanode 是 hdfs 的工作节点，负责实际的数据存储和任务计算；


• journalnode 是分布式日志管理模式下两个 namenode 节点同步数据的进程，每个HA集群里面的高可用依赖它。

1.3、系统参数优化

1.3.1、避免使用 swap 分区

​ 将 hadoop 守护进程的数据交换到磁盘的行为可能会导致操作超时，可以通过修改 linux 内核参数，降低这个概率，但是不能避免。设置 swappiness=0 的时候表示最大限度使用物理内存。

#/etc/sysctl.conf 中添加
vm.swappiness=0
#使参数生效
sysctl -p


1.3.2、调整内存分配策略

​ 操作系统内核根据 vm.overcommit_memory 的值来决定分配策略，并通过 vm.overcommit_ratio 的值来设定超过物理内存的比例，建议将 vm.overcommit_memory 参数设置为2，适当修改 vm.overcommit_ratio 参数。

#/etc/sysctl.conf 中添加
vm.overcommit_memory=2
vm.overcommit_ratio=50
#使参数生效
sysctl -p


1.3.3、修改 net.core.somaxconn 参数

​ 该参数表示 socket 监听 backlog 的上限，默认为128，建议大于等于32768，socket 服务器会一次性处理 backlog 中的所有请求，hadoop 的 ipc.server.listen.queue.size 参数和 linux 的 net.core.somaxconn 参数控制了监听队列的长度，需要调大。

#/etc/sysctl.conf 中添加
net.core.somaxcOnn= 65535
#使参数生效
sysctl -p


1.3.4、设置文件描述符的上限

vim /etc/security/limits.conf
#添加以下内容
* soft nofile 524288
* hard nofile 524288
* soft nproc 524288
* hard nproc 524288


1.3.5、禁用文件的访问时间

​ 文件的访问时间可以让用户知道哪些文件近期被查看或修改，但对于hdfs来说，获取某个文件的某个块什么时候被访问没什么意义。所以可以将其禁用，修改 /etc/fstab 增加 noatime,nodirtime 选项，重新 remount 生效。

vim /etc/fstab
/dev/sdb1 /data xfs rw,noatime,nodiratime 0 0


1.3.6、关闭THP (Transparent Huge Pages)

​ THP是一个使用 Huge Pages 自动化的抽象层。它会引起 cpu 占用率增大，需要将其关闭。

#临时关闭
echo never >> /sys/kernel/mm/transparent_hugepage/enabled
echo never >> /sys/kernel/mm/transparent_hugepage/defrag
#永久关闭
vim /etc/rc.d/rc.local
##添加以下内容
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
##添加执行权限
chmod +x /etc/rc.d/rc.local
##查看是否关闭
[root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never]
[root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/defrag
always madvise [never]


1.3.7、关闭防火墙与SELinux

#关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
#关闭SELinux
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux


二、安装部署

2.1、设置主机名和解析

​ 按照节点规划里的主机名，配置各个主机的主机名，并添加 /etc/hosts 解析。

#以192.168.189.17节点为例
hostnamectl set-hostname nn1-bdp1
exec bash
vim /etc/hosts
192.168.189.17 nn1-bdp1
192.168.189.27 nn2-bdp1
192.168.189.37 nn3-bdp2
192.168.189.47 nn4-bdp2
192.168.189.57 dn1
192.168.189.67 dn2


2.2、创建用户

​ 每台主机都要执行。

#添加组和用户
groupadd hadoop
useradd -G hadoop hdfs
useradd -G hadoop yarn
#配置密码
echo 'hdfs2021' | passwd --stdin hdfs
echo 'yarn2021' | passwd --stdin yarn


2.3、配置免密码 ssh 登录

​ NameNode 主机之间配置 ssh 免密登录

#切换到hdfs用户
su - hdfs
#生成密钥ssh-keygen#将公钥拷贝至其它节点
ssh-copy-id -i ~/.ssh/id_rsa.pub hdfs@192.168.189.17
ssh-copy-id -i ~/.ssh/id_rsa.pub hdfs@192.168.189.27
ssh-copy-id -i ~/.ssh/id_rsa.pub hdfs@192.168.189.37
ssh-copy-id -i ~/.ssh/id_rsa.pub hdfs@192.168.189.47
ssh-copy-id -i ~/.ssh/id_rsa.pub hdfs@192.168.189.57
ssh-copy-id -i ~/.ssh/id_rsa.pub hdfs@192.168.189.67


2.4、安装 JDK

​ 每台主机都要安装。

(1) 新建目录

mkdir -pv /app && cd /app


(2) 准备jdk包

jdk-8u92-linux-x64.tar.gz


(3) 解压

tar -xf jdk-8u92-linux-x64.tar.gzln -s jdk1.8.0_92 jdk


(4) 配置环境变量

vim /etc/profile
#添加以下内容
export JAVA_HOME=/app/jdk
export PATH=$JAVA_HOME/bin/:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPAT
#使环境变量生效
source /etc/profile


(5) 验证java版本

java -version


2.5、部署 zookeeper 集群

​ 按照主机规划的配置，在三台主机上安装 zookeerper 集群。

(1) 创建目录

mkdir -pv /app && cd /app


(2) 下载 zookeeper 安装包

zookeeper-3.4.9.tar.gz


(3) 解压

tar -xf zookeeper-3.4.9.tar.gzln -s zookeeper-3.4.9 zookeeper


(4) 修改配置文件

cd /app/zookeeper
mkdir {data,logs}
cp conf/zoo_sample.cfg conf/zoo.cfg
vim conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/app/zookeeper/data
dataLogDir=/app/zookeeper/logs
clientPort=2181
server.1=192.168.189.17:2888:3888
server.2=192.168.189.27:2888:3888
server.3=192.168.189.37:2888:3888


(5) 准备data/myid文件，三台机器的myid的值，分别对应zoo.cfg文件中的server.x的数字x

#192.168.189.17
echo 1 > /app/zookeeper/data/myid
#192.168.189.27
echo 2 > /app/zookeeper/data/myid
#192.168.189.37
echo 3 > /app/zookeeper/data/myid


(6) 启动 zookeeper

cd /app/zookeeper/bin
#启动
./zkServer.sh start
#查看状态
./zkServer.sh status


2.6、部署 hadoop 集群

2.6.1、安装 hadoop 包

​ 每台主机都需安装，可先安装一台，然后 scp 至其它主节，以 192.168189.17 主机为例。

(1) 创建目录

mkdir -pv /app && cd /app


(2) 下载 hadoop安装包

hadoop-2.7.3.tar.gz


(3) 解压

tar -xf hadoop-2.7.3.tar.gz
ln -s hadoop-2.7.3 hadoop


(4) 创建目录并授权

mkdir /{data,log}
chown -R hdfs:hadoop /data
chown -R hdfs:hadoop /log


(5) 添加环境变量

vim /etc/profile
#在末尾添加
export HADOOP_HOME=/app/hadoop
export HADOOP_CONF_DIR=/app/hadoop/etc/hadoop
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}
export YARN_CONF_DIR=${HADOOP_CONF_DIR}
export HADOOP_PID_DIR=/app/hadoop/tmp
export YARN_PID_DIR=/app/hadoop/tmp
export HADOOP_LOG_DIR=/log/hadoop
export YARN_LOG_DIR=/log/yarn
export HADOOP_MAPRED_LOG_DIR=${YARN_LOG_DIR}
export HADOOP_MAPRED_PID_DIR=${YARN_PID_DIR}
export PATH=${HADOOP_HOME}/sbin:${HADOOP_HOME}/bin:$PATH
#使配置生效
source /etc/profile


2.6.2、修改配置文件

2.6.2.1、core-site.xml

​ 修改 /app/hadoop/etc/hadoop/core-site.xml，在标签对之间添加以下内容：


fs.defaultFS
hdfs://bdp




hadoop.tmp.dir
/app/hadoop/tmp/




io.file.buffer.size
131072




ha.zookeeper.quorum
nn1-bdp1:2181,nn2-bdp1:2181,nn3-bdp2:2181




io.compression.codecs
org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.Lz4Codec




fs.trash.interval
2880




hadoop.proxyuser.hdfs.hosts
*




hadoop.proxyuser.hdfs.groups
*




hadoop.proxyuser.hive.hosts
*




hadoop.proxyuser.hive.groups
*



2.6.2.2、hdfs-site.xml

​ 修改 /app/hadoop/etc/hadoop/hdfs-site.xml，在标签对之间添加以下内容：


dfs.nameservices
bdp1,bdp2





dfs.ha.namenodes.bdp1
nn1,nn2




dfs.namenode.rpc-address.bdp1.nn1
nn1-bdp1:8020




dfs.namenode.rpc-address.bdp1.nn2
nn2-bdp1:8020




dfs.namenode.servicerpc-address.bdp1.nn1
nn1-bdp1:8021




dfs.namenode.servicerpc-address.bdp1.nn2
nn2-bdp1:8021




dfs.namenode.http-address.bdp1.nn1
nn1-bdp1:50070




dfs.namenode.http-address.bdp1.nn2
nn2-bdp1:50070




dfs.client.failover.proxy.provider.bdp1
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider




dfs.namenode.shared.edits.dir.bdp1
qjournal://nn2-bdp1:8485;nn3-bdp2:8485;nn4-bdp2:8485/bdp1






dfs.ha.namenodes.bdp2
nn1,nn2




dfs.namenode.rpc-address.bdp2.nn1
nn3-bdp2:8020




dfs.namenode.rpc-address.bdp2.nn2
nn4-bdp2:8020




dfs.namenode.servicerpc-address.bdp2.nn1
nn3-bdp2:8021




dfs.namenode.servicerpc-address.bdp2.nn2
nn4-bdp2:8021




dfs.namenode.http-address.bdp2.nn1
nn3-bdp2:50070




dfs.namenode.http-address.bdp2.nn2
nn4-bdp2:50070




dfs.client.failover.proxy.provider.bdp2
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider




dfs.namenode.shared.edits.dir.bdp2
qjournal://nn2-bdp1:8485;nn3-bdp2:8485;nn4-bdp2:8485/bdp2






dfs.namenode.name.dir
file:///data/dfs/nn/local






dfs.datanode.data.dir
file:///data/dfs/dn1/local,file:///data/dfs/dn2/local





dfs.journalnode.edits.dir
/data/dfs/jn




dfs.qjournal.start-segment.timeout.ms
60000




dfs.replication
2





dfs.ha.fencing.methods
sshfence




dfs.ha.fencing.ssh.private-key-files
/home/hdfs/.ssh/id_rsa




dfs.ha.automatic-failover.enabled
true



2.6.2.3、yarn-site.xml

​ 修改 /app/hadoop/etc/hadoop/yarn-site.xml，在标签对之间添加以下内容：


Classpath for typical applications.
yarn.application.classpath

$HADOOP_CONF_DIR,
$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*,
$HADOOP_COMMON_HOME/share/hadoop/common/*,
$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
$HADOOP_COMMON_HOME/share/hadoop/hdfs/*,
$HADOOP_COMMON_HOME/share/hadoop/hdfs/lib/*,
$HADOOP_COMMON_HOME/share/hadoop/mapreduce/*,
$HADOOP_COMMON_HOME/share/hadoop/mapreduce/lib/*,
$HADOOP_COMMON_HOME/share/hadoop/yarn/*,
$HADOOP_COMMON_HOME/share/hadoop/yarn/lib/*




yarn.resourcemanager.connect.retry-interval.ms
2000



yarn.resourcemanager.ha.enabled
true



yarn.resourcemanager.ha.automatic-failover.enabled
true



yarn.resourcemanager.ha.automatic-failover.embedded
true



yarn.resourcemanager.cluster-id
yarn-rm-cluster



yarn.resourcemanager.ha.rm-ids
rm1,rm2



yarn.resourcemanager.hostname.rm1
nn1-bdp1



yarn.resourcemanager.hostname.rm2
nn2-bdp1



yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler



yarn.scheduler.fair.user-as-default-queue
false



yarn.resourcemanager.recovery.enabled
true



yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms
5000



yarn.resourcemanager.nodes.exclude-path
/app/hadoop/etc/hadoop/yarn.exclude
true



yarn.resourcemanager.store.class
org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore



yarn.resourcemanager.zk-address
nn1-bdp1:2181,nn2-bdp1:2181,nn3-bdp2:2181



yarn.resourcemanager.zk.state-store.address
nn1-bdp1:2181,nn2-bdp1:2181,nn3-bdp2:2181



yarn.resourcemanager.address.rm1
nn1-bdp1:23140



yarn.resourcemanager.address.rm2
nn2-bdp1:23140



yarn.resourcemanager.scheduler.address.rm1
nn1-bdp1:23130



yarn.resourcemanager.scheduler.address.rm2
nn2-bdp1:23130



yarn.resourcemanager.admin.address.rm1
nn1-bdp1:23141



yarn.resourcemanager.admin.address.rm2
nn2-bdp1:23141



yarn.resourcemanager.resource-tracker.address.rm1
nn1-bdp1:23125



yarn.resourcemanager.resource-tracker.address.rm2
nn2-bdp1:23125



yarn.resourcemanager.webapp.address.rm1
nn1-bdp1:8088



yarn.resourcemanager.webapp.address.rm2
nn2-bdp1:8088



yarn.resourcemanager.webapp.https.address.rm1
nn1-bdp1:23189



yarn.resourcemanager.webapp.https.address.rm2
nn2-bdp1:23189



Address where the localizer IPC is.
yarn.nodemanager.localizer.address
0.0.0.0:23344



NM Webapp address.
yarn.nodemanager.webapp.address
0.0.0.0:23999



yarn.nodemanager.aux-services
mapreduce_shuffle



yarn.nodemanager.aux-services.mapreduce_shuffle.class
org.apache.hadoop.mapred.ShuffleHandler



yarn.nodemanager.local-dirs
file:///data/nm1/yarn/local,file:///data/nm2/yarn/local



yarn.nodemanager.log-dirs
file:///data/nm1/yarn/log,file:///data/nm2/yarn/log



mapreduce.shuffle.port
23080



yarn.log-aggregation-enable
true



Where to aggregate logs to.
yarn.nodemanager.remote-app-log-dir
hdfs://bdp/tmp/logs



yarn.nodemanager.remote-app-log-dir-suffix
logs



yarn.nodemanager.delete.debug-delay-sec
1200



yarn.resourcemanager.work-preserving-recovery.enabled
true



yarn.nodemanager.resource.memory-mb
1024



yarn.nodemanager.resource.cpu-vcores
1



yarn.scheduler.minimum-allocation-mb
256



yarn.scheduler.maximum-allocation-mb
512



yarn.scheduler.increment-allocation-mb
1024



yarn.scheduler.fair.allow-undeclared-pools
false



yarn.scheduler.fair.allow-undeclared-pools
false



yarn.log-aggregation.retain-seconds
1209600



yarn.node-labels.fs-store.root-dir
hdfs://bdp1/user/yarn/node-labels



yarn.node-labels.enable
true



yarn.nodemanager.vmem-check-enabled
false



yarn.acl.enable
true



2.6.2.4、yarn.exclude

touch /app/hadoop/etc/hadoop/yarn.exclude


2.6.2.5、mapred-site.xml

cd /app/hadoop/etc/hadoop
cp mapred-site.xml.template mapred-site.xml


​ 修改 mapred-site.xml，在标签对之间添加以下内容：


mapreduce.framework.name
yarn



mapreduce.jobhistory.address
nn1-bdp1:10020



mapreduce.jobhistory.webapp.address
nn1-bdp1:19888



yarn.app.mapreduce.am.staging-dir
/user



mapreduce.map.memory.mb
5120



mapreduce.map.java.opts
-Xmx4096m -Dfile.encoding=UTF-8



mapreduce.reduce.memory.mb
13312



mapreduce.reduce.java.opts
-Xmx10649m -Dfile.encoding=UTF-8



mapreduce.map.cpu.vcores
1



mapreduce.reduce.cpu.vcores
2



mapreduce.jobhistory.max-age-ms
1296000000
mapred-default.xml



mapreduce.jobhistory.joblist.cache.size
200000
mapred-default.xml



mapreduce.job.counters.max
9999



mapreduce.job.counters.groups.max
9999



mapreduce.job.counters.group.name.max
9999



mapreduce.job.counters.counter.name.max
9999



mapreduce.shuffle.connection-keep-alive.enable
true



mapreduce.job.reduce.slowstart.completedmaps
0.95



2.6.2.6、hadoop-env.sh

vim /app/hadoop/etc/hadoop/hadoop-env.sh
#修改以下内容
export JAVA_HOME=/app/jdk


2.6.2.7、slaves 文件

vim /app/hadoop/etc/hadoop/slaves
dn1
dn2


2.6.3、复制文件至其它主机

#在192.168.189.17主机上执行
cd /app
scp -r hadoop-2.7.3 192.168.189.27:/app
scp -r hadoop-2.7.3 192.168.189.37:/app
scp -r hadoop-2.7.3 192.168.189.47:/app
scp -r hadoop-2.7.3 192.168.189.57:/app
scp -r hadoop-2.7.3 192.168.189.67:/app
#在192.168.189.27-67主机上执行
##添加软链接
cd /app
ln -s hadoop-2.7.3 hadoop
##添加目录并授权
mkdir /{data,log}
chown -R hdfs:hadoop /data
chown -R hdfs:hadoop /log
#每台主机执行，修改hadoop目录权限
cd /app
chown -R hdfs:hadoop hadoop/


2.6.4、初始化集群

2.6.4.1、切换至 hdfs 用户

​ 后需操作均使用 hdfs 用户执行，执行命令前记得先切换用户：

su - hdfs


2.6.4.2、初始化 zkfc

​ 根据主机规划情况，在 192.168.189.17 和 192.168.189.37 上执行：

hdfs zkfc -formatZK


2.6.4.3、启动 JournalNode 集群

​ 根据主机规划情况，在 192.168.189.27、192.168.189.37、192.168.189.47 上执行：

hadoop-daemon.sh start journalnode


注意：非首次启动需初始化 Shared Edits目录。

hdfs namenode -initializeSharedEdits


说明：非首次启动是指原来有一个没有配置HA的HDFS已经在运行了，HDFS上已经有数据了，现在需要配置HA而加入一台namenode。这时候namenode1通过initializeSharedEdits命令来初始化journalnode，把edits文件共享到journalnode上。

2.6.4.4、格式化 namenode

​ 根据主机规划情况，在 192.168.189.17、192.168.189.37上即每个集群其中一台 namenode 的节点上执行：

hdfs namenode -format


2.6.4.5、启动 namenode

(1) 启动刚格式化的 NameNode，在主 namenode 上执行，即在 192.168.189.17、192.168.189.37 上执行：

hadoop-daemon.sh start namenode -clusterid hd20211011


注意：此处需要指定集群ID，如第一次在 192.168.189.17 上格式化时不指定 -clusterid，而使用 hdfs namenode -format 直接格式化，那么在 192.168.189.37 上格式化时必需指定 -clusterid，且需要与 192.168.189.17 上的相同，可通过 cat /data/dfs/nn/local/current/VERSION 查看 192.168.189.17 格式化后的 clusterID，如果 clusterid 不一致，可能无法读取到 datanode

(2) 同步 namenode 数据，在 192.168.189.27、192.168.189.47 上执行：

hdfs namenode -bootstrapStandby


(3) 接着启动 namenode 进程了，在 192.168.189.27、192.168.189.47 上执行：

hadoop-daemon.sh start namenode


2.6.4.6、启动 datanode

​ 在其中一台主 namenode 上执行即可，可在 192.168.189.17 上执行：

hadoop-daemons.sh start datanode


2.6.4.7、启动 yarn

​ 根据主机规划情况，先在 192.168.189.17上执行：

start-yarn.sh


​ 然后在 192.168.189.27上执行：

yarn-daemon.sh start resourcemanager


2.6.4.8、启动 zkfc

​ 根据主机规划情况，先在 192.168.189.17、192.168.189.27、192.168.189.37、192.168.189.47 上执行：

hadoop-daemon.sh start zkfc


2.6.4.9、启动 JobHistory Server 历史日志服务(如有需要)

​ 在 192.168.189.17 上执行，因 yarn-site.xml 文件中 yarn.nodemanager.remote-app-log-dir 的配置为 hdfs://bdp/tmp/logs，所以需要创建目录，不然日志里会报 File hdfs://bdp/tmp/logs does not exist.

#添加hosts解析，需要root权限
vim /ect/hosts
192.168.189.17 nn1-bdp1 bdp
#创建目录
hadoop fs -mkdir -p /tmp/logs
#启动服务
mr-jobhistory-daemon.sh start historyserver
#web访问
http://192.168.189.17:19888


2.6.5、访问验证

namenode1:
http://192.168.189.17:50070
namenode2:
http://192.168.189.27:50070
namenode3:
http://192.168.189.37:50070
namenode4:
http://192.168.189.47:50070
ResourceManager1:
http://192.168.189.17:8088
ResourceManager2:
http://192.168.189.27:8088
Datanode:
http://192.168.189.57:50075/
http://192.168.189.67:50075/
JobHistory:
http://192.168.189.17:19888
hadoop进程查看
jps


原文链接：https://www.cnblogs.com/hovin/p/15391731.html