分布式部署HBASE集群

上面已经部署过一个伪分布式在测试环境中使用了。生活环境还需要一套。所以趁机来记录下完全分布式部署

环境，3台服务器，关闭firewalld.selinux.,配置了hosts，已经免密登陆

由于我的是生产环境，所以免密登陆这块，无法使用root，只能新建一个hadoop用户

配置visudo,加上这一句就好

root ALL=(ALL) ALL
hadoop ALL=(ALL) ALL

我使用的软件版本是 hadoop-2.8.5.tar.gz，hbase-2.2.2-bin.tar.gz，zookeeper-3.4.9.tar.gz

jdk版本用的1.8，顺便装好jps工具，

yum install java-1.8.0-openjdk-devel.x86_64

1、zk集群版部署

这块比较简单，参考https://www.cnblogs.com/netbloomy/p/6658041.html这位up的文章一次解决

2、hadoop部署

这块参考https://blog.csdn.net/wh672843916/article/details/106060457?spm=1001.2101.3001.6650.6&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EOPENSEARCH%7Edefault-6.pc_relevant_paycolumn_v2&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EOPENSEARCH%7Edefault-6.pc_relevant_paycolumn_v2&utm_relevant_index=12

这位up文章

期间我遇到几个问题，第一个由于我已经提前配置了JAVA_HOME，所以我没有在hadoop-env.sh、mapred-env.sh、yarn-env.sh这三个配置新增JAVA_HOME，但是启动start-dfs.sh时就报错了，所以我新增后解决

第二个是datanode节点我启动在主节点上，而且只有一个，另外二个节点基本没有生活datanode节点，我查看了配置文件，确实没有相关datanode节点所在的分配。于是。我通过之前我datanode节点无法启动的经验，

./hadoop-daemon.sh start datanode手动起了一个datanode，并且

./sbin/start-balancer.sh  跑一个数据均衡脚本，避免数据都记录在新增的节点上，如果想继续增加datanode节点也是可以的。

 

 到这里hadoop集群部署完毕

3hbase

新建hbase用户，设置免密登陆

部署好之后主节点没有产生HMASTER，调度到备节点上去了，结果进入hbase shell中list就报错

查看日志

Permission denied: user=hbase, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x

解决办法

1、hadoop dfs  -ls  /

Found 2 items
drwxrwxrwx - hadoop supergroup 0 2022-01-04 13:31 /hbase
drwxr-xr-x - hadoop supergroup 0 2022-01-03 14:34 /system

hadoop dfs -chmod 777 /hbase

2chmod -R hadoop.hadoop  /home/hbase/hbase

修改之后重启就解决了

 最终

主节点

备节点

备节点