Hadoop服役新服务器和推移旧服务器

1&＃xff09;需求

随着公司业务的增长&＃xff0c;数据量越来越大&＃xff0c;原有的数据节点的容量已经不能满足存储数据的需求&＃xff0c;需要在原有集群基础上动态添加新的数据节点。

2&＃xff09;环境准备

新服务器安装Hadoop相关的环境&＃xff0c;配置好hostname和hosts。 拷贝/etc/profile.d/my_env.sh并执行source /etc/profile

注&＃xff1a;通常采用镜像拷贝或者克隆的方式在新机器上克隆就机器的镜像。如果是使用旧镜像的话&＃xff0c;克隆完成后记得删除Hadoop目录下的data和logs。

3&＃xff09;服役新节点具体步骤

&＃xff08;1&＃xff09;直接启动DataNode&＃xff0c;即可关联到集群

[lytfly&＃64;hadoop105 hadoop-3.1.4]$ hdfs --daemon start datanode
[lytfly&＃64;hadoop105 hadoop-3.1.4]$ yarn --daemon start nodemanager


4&＃xff09;在白名单中增加新服役的服务器

&＃xff08;1&＃xff09;在白名单whitelist和workers文件中增加hadoop104、hadoop105节点&＃xff0c;并重启集群

[lytfly&＃64;hadoop102 hadoop]$ vim whitelist


whitelist修改为如下内容:

hadoop102
hadoop103
hadoop104
hadoop105


[lytfly&＃64;hadoop102 hadoop]$ vim workers


workers修改为如下内容:

hadoop102
hadoop103
hadoop104
hadoop105


&＃xff08;2&＃xff09;分发

[lytfly&＃64;hadoop102 hadoop]$ xsync whitelist workers


&＃xff08;3&＃xff09;刷新NameNode

[lytfly&＃64;hadoop102 hadoop-3.1.4]$ hdfs dfsadmin -refreshNodes


5&＃xff09;新服务器添加后执行集群中节点间的数据均衡

新服务器hadoop105数据少&＃xff0c;需要执行数据均衡操作&＃xff0c;参见《Hadoop服务器间数据均衡》

黑名单&＃xff1a;表示在黑名单的主机IP地址不可以用来存储数据。

1&＃xff09;编辑/opt/module/hadoop-3.1.4/etc/hadoop目录下的blacklist文件

[lytfly&＃64;hadoop102 hadoop] vim blacklist


添加如下主机名称&＃xff08;要退役的节点&＃xff09;

hadoop105


注意&＃xff1a;如果黑名单中没有配置&＃xff0c;需要在hdfs-site.xml配置文件中增加dfs.hosts配置参数


dfs.hosts.exclude/opt/module/hadoop-3.1.4/etc/hadoop/blacklist



2&＃xff09;分发配置文件blacklist&＃xff0c;hdfs-site.xml

[lytfly&＃64;hadoop102 hadoop]$ xsync hdfs-site.xml blacklist


3&＃xff09;第一次添加黑名单必须重启集群&＃xff0c;不是第一次&＃xff0c;只需要刷新NameNode节点即可

[lytfly&＃64;hadoop102 hadoop-3.1.4]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful


4&＃xff09;检查Web浏览器&＃xff0c;退役节点的状态为decommission in progress&＃xff08;退役中&＃xff09;&＃xff0c;说明数据节点正在复制块到其他节点

5&＃xff09;等待退役节点状态为decommissioned&＃xff08;所有块已经复制完成&＃xff09;&＃xff0c;停止该节点及节点资源管理器。注意&＃xff1a;如果副本数是3&＃xff0c;服役的节点小于等于3&＃xff0c;是不能退役成功的&＃xff0c;需要修改副本数后才能退役

[lytfly&＃64;hadoop105 hadoop-3.1.4]$ hdfs --daemon stop datanode
stopping datanode[lytfly&＃64;hadoop105 hadoop-3.1.4]$ yarn --daemon stop nodemanager
stopping nodemanager


6&＃xff09;如果数据不均衡&＃xff0c;可以用命令实现集群的再平衡

[lytfly&＃64;hadoop102 hadoop-3.1.4]$ sbin/start-balancer.sh -threshold 10