2019独角兽企业重金招聘Python工程师标准>>> 
| 问题导读 1.hadoop简单模式如何认证&＃xff1f; 2.kerberos认证存在什么问题&＃xff1f;  1.简单模式 这种模式&＃xff0c;配置简单&＃xff0c;使用简单。 core-site.xml添加
hadoop.security.authentication可以不用配&＃xff0c;默认就是simple的。 hadoop-policy.xml&＃xff0c;是设置各种服务对应的可登陆的用户和组&＃xff0c;*自然是所有的&＃xff0c;看里面的注释就可以了&＃xff0c;或者直接看官方文档http://hadoop.apache.org/docs/r2 ... rviceLevelAuth.html&＃xff0c;里面有详细的介绍和使用方式。 可登录的用户在列表里面&＃xff0c;实际运行时&＃xff0c;还要看用户对各种资源的rwx权限&＃xff0c;这个权限要用“hadoop fs”相关的命令进行设置了&＃xff0c;和linux系统下设置文件权限是一样的。 问题在于这种登录&＃xff0c;有个用户名就可以&＃xff0c;安全性不高啊&＃xff0c;果然是简单模式。实际应用时&＃xff0c;就自己用用还是可以的&＃xff0c;搭配下防火墙应该问题不大。但是&＃xff0c;如果要对外提供服务啥的&＃xff0c;这问题还是不小的&＃xff0c;伪造个用户名连接上服务&＃xff0c;只要一行代码设置环境变量就伪造好了。。。 2.kerberos认证 官方文档先挂上http://hadoop.apache.org/docs/st ... mon/SecureMode.html core-site.xml
3.看来是要修改hadoop源码&＃xff0c;添加自己的验证体系了。 ###################################################################### hadoop和kerberos的整合总结存在的问题 由于手上负责的hadoop集群需要对公司外部提供服务&＃xff0c;所有会有多个部门访问我们的hadoop集群&＃xff0c;这个就涉及到了hadoop的安全性。 而hadoop的安全性是很弱的&＃xff0c;只提供类似linux文件系统的帐户权限验证&＃xff0c;而且可以通过简单的手段冒充用户名&＃xff0c;如果有恶意用户&＃xff0c;直接冒充为hadoop的super用户&＃xff0c;那整个集群是很危险的。 hadoop支持kerberos&＃xff0c;希望可以通过kerberos&＃xff0c;限制恶意用户伪造用户。 预研过程中&＃xff0c;发现kerberos生成证书和配置的步骤相当繁琐&＃xff0c;首次配置也可以接受&＃xff0c;但是对于用户权限的修改&＃xff0c;机器的减容扩容&＃xff0c;感觉会造成证书要重新生成&＃xff0c;再分发证书&＃xff0c;重启hadoop。而且还要考虑kerberos的宕机导致整个集群无法服务的风险&＃xff0c;加上kerberos的东西也比较复杂&＃xff0c;这些考虑&＃xff0c;让我觉得上kerberos很可能会导致hadoop集群运维的不便。 于是咨询淘宝云梯管理员罗李&＃xff0c;问他hadoop和kerberos是否很不好用&＃xff0c;他回复:很不好用。给个案例&＃xff0c;支付宝去年到今年上半年用了这东西&＃xff0c;效率极低运维困难&＃xff0c;下半年换成云梯版本后效率大涨连扩容都省了。 最后总结&＃xff0c;hadoop权限方面&＃xff0c;kerberos还是不适合&＃xff0c;也许真的只能自己像云梯一样&＃xff0c;修改hadoop源代码&＃xff0c;添加自己的权限验证体系。 |
京公网安备 11010802041100号