Cloudera对HDFS做Balance数据均衡/数据平衡/数据倾斜

如果说Hadoop集群的某些DataNode存储数据达到阈值或者出现数据倾斜的情况&＃xff0c;任务会高频的打到很多“经常性访问的”数据节点。

这个时候某些节点资源会出现紧张或者异常情况&＃xff0c;如下图&＃xff1a;

其中HDFS有7个节点出现异常情况&＃xff0c;我们点击查看详情。

具体异常信息如上图。

我们对于这种数据倾斜或者存储异常的情况&＃xff08;重启单节点服务无效的时候&＃xff09;。

我们可以点击操作&＃xff0c;点击重新平衡。这时系统会自动的来解决数据倾斜或者异常情况。

我们也可以使用命令行&＃xff1a;

hdfs balancer -help

后面指定具体参数来优化。