记一次CDH集群磁盘扩容(热插拔)详细步骤

前言&＃xff1a;

        如果CDH集群搭载的是Hadoop3&＃xff0c;支持单节点内磁盘的数据均衡&＃xff0c;那给集群节点增加磁盘是可行的。若搭载的是Hadoop2.x版本&＃xff0c;请注意&＃xff0c;2.x版本的Hadoop没有单节点内磁盘均衡的功能&＃xff0c;增加的新磁盘可能只会写入很少的数据&＃xff0c;不能实际解决集群磁盘空间不足的问题&＃xff0c;谨记&＃xff01;

正文&＃xff1a;

        数据仓库的其中一个作用是保存公司完整的业务或其他数据,在RDB如mysql/Oracle中,数据太多可以进行归档,但数仓不可以.这就导致了数仓中的磁盘占用率越来越高,终归有一天,磁盘不足,那给CDH集群增加磁盘就不能避免.

        以下是我实际工作中一次增加磁盘的记录.分享出来希望可以帮到有缘人.

分为以下三个部分描述

    1-磁盘热插拔的注意事项

    2-具体操作步骤

    3-增加磁盘后的效果

注意事项

• 热插拔只能添加具有空数据目录的磁盘。
• 卸下磁盘不会将数据移出磁盘&＃xff0c;这可能会导致数据丢失。
• 不要同时在多个主机上执行热交换。
• 每次更改单独机器的HDFS配置信息,不要更改角色组的信息,即便是统一每台机器都增加同样数量的磁盘且磁盘mount路径都相同

因此次我们是操作增加磁盘,所以注意事项第二条可以忽略掉.

操作步骤

准备阶段:

准备阶段主要是磁盘硬件添加和挂载,这些工作都是IT部门同事帮忙做的,最终给一台机器增加10块磁盘,分别挂载在/u06和/u07 ..../u15目录下.

a-登录CDH主界面,点击HDFS角色

b-点击"实例"选项卡

此时我们可以看到所有DataNode节点的列表,选择要添加磁盘的机器,点击它对应的DATA NODE

点进去后,我们看到的就是这台机器单独的界面,点击配置.

绿色框部分为该机器现有的磁盘挂载目录.只需要点击加号按钮添加磁盘路径即可.添加后截图如下

更改完毕,点击保存更改.此时DN处于使用过期配置的情况,更新配置界面如下

勾选上这两个选项,只重新启动单台DN,对集群影响降低到最小.不会影响正在运行的各种服务.重启过程如下

增加后的效果

重启后,在CDH界面查看该机器信息,发现磁盘容量从4T&＃43;变为了25T&＃43;,此时登录服务器导磁盘挂载目录下,发现创建好了对应的dfs数据文件夹.

扩容完成.其他应用没有受到影响

以上,为CDH机器增加磁盘的过程,请注意,不要一次性操作多台机器.感谢耐心阅读.

2019-12-06&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;

在集群页面找到了一个直接更新数据目录的按钮.截图如下

也就是说,在添加完数据存储目录的时候,直接在右上角找到操作->刷新数据目录即可完成数据目录的更改和添加,该步骤执行结果如下