ambarihdfs启动报错_HDFSDataNode启动异常:/opt/jdk1.8.0_151/bin/java:权限不够

我的原创地址&＃xff1a;HDFS DataNode启动异常:/opt/jdk1.8.0_151/bin/java:权限不够​dongkelun.com

前言

这个异常是在在ambari里启动DataNode产生的&＃xff0c;其实这个问题很久就发现了&＃xff0c;只是没时间去处理&＃xff0c;所以之前把发生问题的slave1节点给移除了&＃xff0c;现在有时间处理&＃xff0c;就又把slave1加上了&＃xff0c;所以就有了ambari 异常总结及解决办法里面的问题&＃xff0c;这个java权限不够的问题&＃xff0c;在添加slave1之后&＃xff0c;并安装datanode和nodemanager之后启动服务依然报错。

异常信息&＃xff1a;

/usr/hdp/2.6.4.0-91//hadoop-hdfs/bin/hdfs.distro:行317: /opt/jdk1.8.0_151/bin/java: 权限不够

/usr/hdp/2.6.4.0-91//hadoop-hdfs/bin/hdfs.distro: 第 317 行:exec: /opt/jdk1.8.0_151/bin/java: 无法执行: 权限不够

这个问题在网上找也找不到对应的解决办法&＃xff0c;所以有必要单独记录一下&＃xff0c;没有放在ambari 异常总结及解决办法&＃xff0c;且我认为即使不用ambari&＃xff0c;该问题依然可能会发生。

1、详细异常信息

部分截图:

2、解决思路

首先确定java是否有问题&＃xff0c;经过简单的测试&＃xff0c;没发现问题&＃xff0c;然后在/usr/hdp/2.6.4.0-91//hadoop-hdfs/bin/hdfs.distro查看第317行的内容&＃xff0c;发现hdfs命令实际调用的java命令&＃xff0c;但是一开始并不知道怎么解决这个问题&＃xff0c;通过查看ambari的日志也并没有解决问题&＃xff0c;最后回到jdk目录的权限问题。 首先有问题的时候

su - hdfs

hdfs -ls

执行上面的命令也是会报同样的问题&＃xff0c;所以就不用在ambari里启动datanode服务就可以测试有没有问题了

3、解决办法

3.1 改变/opt的所有者给hdfs(只将jdk目录的给hdfs没有解决问题&＃xff0c;没有深究其原因&＃xff0c;可能因为还有其他目录和jdk有关联)

chown -R hdfs:hdfs /opt/

然后用hdfs -ls测试&＃xff0c;发现没有上面的异常&＃xff0c;这样就可以在在ambari里启动datanode了&＃xff0c;启动成功&＃xff01;

3.2 启动nodemanager报错

/usr/hdp/2.6.4.0-91//hadoop-yarn/bin/yarn.distro:行376: /opt/jdk1.8.0_151/bin/java: 权限不够/usr/hdp/2.6.4.0-91//hadoop-yarn/bin/yarn.distro: 第 376 行:exec: /opt/jdk1.8.0_151/bin/java: 无法执行: 权限不够

异常信息一样&＃xff0c;只是文件名不一样&＃xff0c;同样的方法解决

chown -R yarn:yarn /opt/

启动nodemanager成功&＃xff01; 然后重启ambari所有服务&＃xff0c;看一下是否还有问题&＃xff0c;结果slave1启动datanode时报了同样的错误&＃xff0c;问了一下同事&＃xff0c;发现我对chown -R上面的命令有所误解&＃xff0c;我开始认为是让hdfs拥有opt的权限&＃xff0c;只想上面两步后&＃xff0c;hdfs和yarn都有了opt的权限&＃xff0c;但是其实该命令是更改opt的所有者&＃xff0c;执行上面的两步之后&＃xff0c;只有yarn拥有opt的权限了&＃xff0c;也就是将hdfs覆盖了。

3.3 让hadoop组都拥有opt的权限

chown -R yarn:hadoop /opt/

chmod -R 770 /opt

大概解释一下上面的命令&＃xff0c;首先更改opt的所有者为hadoop组下面的yarn用户(yarn和hdfs都属于hadoop组) 然后770的意思是用户和用户组对opt目录具有rwx的权限&＃xff0c;其他用户没有任何权限&＃xff0c;这样hdfs用户也有opt的权限了&＃xff0c;这样重启ambari的所有服务就会成功了&＃xff01;

3.4 最后的方法

上面命令是同事帮忙操作的&＃xff0c;然后发现自己对Linux权限不太了解&＃xff0c;就大概查了一下权限相关的资料&＃xff0c;因为之前已经把opt的权限弄乱了&＃xff0c;所以最后先这样解决(测试环境&＃xff0c;且opt目录一般就我们几个人用) 首先将opt的所有者改回为root

chown -R root:root /opt/

然后更改opt的权限为755

chmod -R 755 /opt

755的意思为用户的权限为rwx,用户组和其他人的权限均为r-x,即没有写权限&＃xff0c;一般文件权限也是755(应该也是默认的&＃xff0c;可以自己新建一个文件夹进行测试),然后这样重启ambari的所有服务也是没有问题的 因为-R是递归的&＃xff0c;这样其实不好&＃xff0c;因为有些txt,readme的权限也改了&＃xff0c;所以我将opt下面的jdk目录删除并重新解压了一份。 opt各目录权限截图&＃xff1a;

4、总结

其实该问题只修改jdk相关的目录的权限即可&＃xff0c;但是之前已经递归修改opt的目录&＃xff0c;所以暂时只能按照3.4的办法解决。该异常出现的原因应该是才平时的操作中&＃xff0c;误修改了jdk的权限&＃xff0c;为了防止出现这种问题&＃xff0c;平时在操作中关于chmod -R等相关的操作一定要慎用。