大数据安全之hdfs与hive的Authentication与Authorization

    我们经常听到以下口号&＃xff1a;城市发展什么最重要&＃xff1f;人才&＃xff01;家庭生活什么最重要&＃xff1f;孩子&＃xff01;企业生产什么最重要&＃xff1f;数据&＃xff01;在当今时代&＃xff0c;数据在企业中作为具有战略意义的重要资产&＃xff0c;其安全性受到了越来越高的重视&＃xff0c;任何形式的误删除&＃xff0c;误修改&＃xff0c;越权使用&＃xff0c;不慎泄露等&＃xff0c;都是重大的安全事件。为了保护数据安全&＃xff0c;各企业都实施了严格的数据使用规范和准则&＃xff0c;也应用了各种数据安全技术&＃xff0c;确保数据的安全使用。本文我们就来看下大数据安全领域的话题。

    在安全领域&＃xff0c;有个3A的概念&＃xff0c;即Authentication认证&＃xff0c;Authorization鉴权&＃xff0c;和Audit审计。其中Authentication解决的是身份认证的问题&＃xff0c;通俗的来说就是验明真身&＃xff0c;证明用户确实是他声称的身份而不是由由其它身份伪装而来&＃xff1b;Authorization解决的是权限验证问题&＃xff0c;即执行某个具体操作前&＃xff0c;确认该用户确实有执行该操作的权限&＃xff0c;而不是越权行事&＃xff1b;Audit解决的是审计问题&＃xff0c;是在事后定期查看安全相关操作记录&＃xff0c;从而进一步调整安全策略的基础。&＃xff08;当然数据加密Encryption也是确保安全常见的措施。&＃xff09;

    针对某一个用户的某一次数据操作来看&＃xff0c;Authentication是事前的安全措施&＃xff0c;Authorization是事中的安全措施&＃xff0c;Audit是事后的安全措施。三者联动&＃xff0c;才能确保真正的安全。这三者之中&＃xff0c;Authentication是基础&＃xff0c;因为如果不能证明用户身份&＃xff0c;一切都无从谈起&＃xff1b;而Authorization是核心和主题&＃xff0c;也是具体业务系统实现时大家更关注的地方。

    笔者在这里尝试浅析下大数据安全领域中authentication和authorization方面话题。在大数据安全领域&＃xff0c;Authentication层面&＃xff0c;常见的有simple, ldap, 和kerberos三种&＃xff1b;Authorization层面&＃xff0c;很多是由业务系统自己实现的&＃xff0c;而底层大数据组件可以借助于成熟的开源框架&＃xff0c;目前常见的有Sentry和Ranger两种&＃xff08;其中CDP中不再支持Sentry,只支持Ranger&＃xff09;。由于篇幅有限&＃xff0c;笔者在这里聚焦于数据存储层面的hdfs和hive框架&＃xff0c;不会讨论spark&＃xff0c;flink等计算框架中的实现。

    先来看hadoop的Authentication. hadoop框架&＃xff08;包含hdfs&＃xff09;的Authentication&＃xff0c;通过参数hadoop.security.authentication 来配置&＃xff0c;目前支持的值只有两种&＃xff0c;即simple 和kerbero。其中前者是不做任何验证&＃xff0c;用户说他是谁hadoop框架就认为是谁&＃xff0c;参见源码org.apache.hadoop.security.UserGroupInformation可知&＃xff0c;hadoop会使用环境变量HADOOP_USER_NAME的值来获得当前用户&＃xff0c;没有获取到则会使用系统参数HADOOP_USER_NAME的值来获得当前用户&＃xff0c;仍然没有获取到则则会使用系统参数user.name的值来确定当前用户。所以我们经常在没有启用kerberos的环境中&＃xff0c;在执行代码前&＃xff0c;通过设置环境变量的方式来灵活切换用户身份&＃xff0c;如&＃xff1a;export HADOOP_USER_NAME&＃61; xyz&＃xff1b;而配置了使用kerberos认证身份时&＃xff0c;用户身份的验证工作是由kerberos来是实现的&＃xff0c;在使用上&＃xff0c;用户一般通过kinit principal_name -kt key_tab_location的方式来认证用户身份&＃xff0c;代码中则一般通过org.apache.hadoop.security.UserGroupInformation.loginUserFromKeytab(String user, String path)的方式来认证用户身份。

    接下来看下hive的Authentication. Hive的authentication通过参数hive.server2.authentication来配置&＃xff0c;可配置的值有多种&＃xff0c;常见的有NONE&＃xff1a;即不做身份校验&＃xff0c;LDAP: 使用基于LDAP/AD的用户身份校验&＃xff0c;以及 KERBEROS: 使用Kerberos/GSSAPI 做身份校验。针对None, 其含义是不对用户身份进行校验&＃xff0c;事实上此时用户通过beeline登录时&＃xff0c;可以不配置用户名和密码 &＃xff08;Hive会认为是匿名用户anonymous&＃xff09;&＃xff0c;也可以配置为任意用户名&＃xff08;甚至是不存在的用户&＃xff09;&＃xff0c;如&＃xff1a;beeline -u jdbc:hive2://xx.xx.xx.xx:10000/default 或beeline -u jdbc:hive2://xx.xx.xx.xx:10000/default -n xyz&＃xff1b;针对ldap方式&＃xff0c;会到ldap中验证用户名和密码&＃xff0c;只有验证通过后才能正常登录&＃xff0c;此时登录方式跟none类似&＃xff0c;但需要提供正确的用户名和密码&＃xff1a;beeline -u jdbc:hive2://xx.xx.xx.xx:10000/default -n xyz -p xyz; 如果是kerberos认证方式&＃xff0c;则在执行登录前需要首先获取a valid Kerberos ticket in the ticket cache before connecting&＃xff0c;这点用户一般通过kinit principal_name -kt key_tab_location的方式来获取ticket&＃xff0c;程序代码中则一般通过org.apache.hadoop.security.UserGroupInformation.loginUserFromKeytab(String user, String path)的方式来获取ticket&＃xff1b;获取ticket成功后&＃xff0c;才可以通过jdbc连接登录到hiveserver&＃xff0c;注意此时需要在url中指定登录用户的principla, 此时url格式如下&＃xff1a;url &＃61; jdbc:hive2://xx.xx.xx.xx:10000/default;principal&＃61;hive/_HOST&＃64;CDH.COM"&＃xff1b;

    再来看看hdfs的authorization. HDFS对目录和文件实现了类似linux操作系统上的POSIX的安全模型&＃xff0c;其核心是对owner&＃xff0c;group和other可以分别配置读写和执行权限&＃xff0c;在次不在赘述这点&＃xff0c;不清楚的同学请自行查阅。为了支持更细粒度的更灵活的对用户或用户组的权限配置&＃xff0c;hdfs也支持类似 POSIX ACLs (Access Control Lists) 的访问控制列表&＃xff0c; 用户可以通过命令查看和设置任意用户或用户组对特定目录的读写或执行权限&＃xff0c;这点是对owner-group-other权限模型之外的有力补充&＃xff0c;由于其灵活性和细粒度行&＃xff0c;使用十分广泛。查看acl命令格式如下&＃xff1a;hdfs dfs -getfacl [-R] &＃xff0c;设置acl命令格式如下&＃xff1a;hdfs dfs -setfacl [-R] [-b |-k -m |-x ] |[--set ]&＃xff0c;更多信息请自行参阅官方文档。出了以上两点&＃xff0c;还有个stickybit的概念&＃xff0c;也是大家要掌握的&＃xff0c;其含义是: 通过对特定目录设置sticky bit&＃xff0c;可以有效阻止除超级用户和该目录owner之外的任意其它用户对该目录下文件的删除或移动操作。

    最后来看下hive的Authorization. Hive的authorization所支持的模式在不断演化中&＃xff0c;目前来看主要有以下四大类&＃xff1a;1. Old default Hive Authorization (Legacy Mode) (Hive 2.0.0前该选项是默认值); 2. Metastore server 中的Storage Based Authorization&＃xff1b;3. hiveserver2 中的 SQL Standards Based Authorization; 4. 使用权限框架如 Apache Ranger 或 Sentry. 用户可以根据自己使用Hive的模式的不同&＃xff0c;单独使用或组合搭配使用以上支持的authorization机制。如果是仅仅将hive作为表存储层使用&＃xff0c;比如通过presto, spark, impala等计算引擎访问hive中的数据&＃xff0c;此时会直接访问hive metastore中的元数据&＃xff0c;也会直接访问hdfs上的数据&＃xff0c;这种使用场景比较适合启用storage based authorization&＃xff0c;其底层机制是通过hdfs permissions来验证用户访问hdfs中数据的权限&＃xff0c;而对应的hive metastore中元数据的访问权限是由hive从对应的hdfs 目录的权限同步而来的&＃xff0c;这样就可以做到对元数据和数据权限的全面校验&＃xff1b;如果使用场景是将hive作为sql执行引擎使用&＃xff0c;即通过hiveserver2的api来访问hiveserver2进而提交执行hive sql查询数据&＃xff0c;比如代码中的jdbc/odbc连接或beeline的jdbc连接&＃xff0c;此时就可以启用 SQL Standards Based Authorization&＃xff0c;该模式可以做到更细粒度的权限控制&＃xff0c;比如column字段或view试图级别的权限控制&＃xff1b;以上三种方式都是hive社区官方推出的方案&＃xff0c;而目前在大数据业界实践中&＃xff0c;似乎使用sentry和ranger这类成熟框架的相对更多些&＃xff0c;其原因应该是因为这些框架的底层原理整合的还是以上hive官方的三种authorization机制&＃xff0c;但是在自身的安装部署和易用性上&＃xff0c;以及大数据生态整合上做的更好&＃xff0c;尤其是在CDH中。

    Sentry和Ranger这两个框架非常类似&＃xff0c;都是基于角色的访问控制模型&＃xff08;role-based access control&＃xff0c;RBAC&＃xff09;&＃xff0c;基于角色的访问控制在需要对大量用户进行授权时能大大减轻所需的ACL配置工作。Sentry最初是由Cloudera公司内部开发而来的&＃xff0c;初衷是为了让用户能够细粒度的控制Hadoop系统中的数据&＃xff08;主要指HDFS&＃xff0c;Hive的数据&＃xff09;&＃xff0c;所以Sentry对HDFS&＃xff0c;Hive以及同样由Cloudera开发的Impala有着很好的支持性&＃xff1b;而Ranger最初是由另一家公司Hortonworks&＃xff08;已经被Cloudera收购&＃xff09;主导开发的&＃xff0c;它同样是做细粒度的权限控制&＃xff0c;但相比较于Sentry而言&＃xff0c;ranger有着更加丰富的策略控制&＃xff0c;以及更加通用性的大数据组件支持&＃xff0c;包括于HDFS, Hive, HBase, Yarn, Storm, Knox, Kafka, Solr 和 NiFi等。在Cloudera公司新推出的大数据平台cdp中&＃xff0c;不在提供对sentry的支持而是统一使用了Ranger.

    以下详细分享下sentry相关知识。Sentry 支持对hiveserver2的基于角色的细粒度的授权&＃xff0c;当然 sentry只会控制hive和impala的访问&＃xff0c;如果是通过hdfs的api或者 hdfs的shell直接操作hdfs文件&＃xff0c;还是会通过hdfs 的权限控制机制 验证hdfs文件权限。有一点需要注意&＃xff0c;由于sentry的授权是按照角色和组来授权的&＃xff0c;不支持直接对用户进行授权&＃xff0c;所以还需要解决用户和组的映射问题&＃xff0c;具体使用哪种映射方式是由hadoop的hadoop.security.group.mapping参数决定的&＃xff0c;该参数默认值是org.apache.hadoop.security.ShellBasedUnixGroupsMapping&＃xff0c;即基于namenode节点的操作系统的用户和组的映射规则来确定实际使用的用户组&＃xff0c;生产环境一般会配置为org.apache.hadoop.security.LdapGroupsMapping,即使用ldap来确定用户对应的用户组。

    sentry 授权的一般操作步骤是&＃xff0c;通过sentry管理员账户登录beeline后&＃xff0c;创建角色&＃xff0c;执行grant授权语句对角色授予服务&＃xff0c;数据库&＃xff0c;表&＃xff0c;URI的权限&＃xff0c;然后执行grant语句将角色赋予目标用户组。其中sentry管理员用户组&＃xff0c;是通过配置项sentry.service.admin.group来指定的&＃xff0c;该用户组下所有用户都是sentry管理员&＃xff1b;而server是通过配置项hive.sentry.server指定的。赋权示例&＃xff1a;

1. 创建角色&＃xff1a;create role xx;

2. 给角色赋权&＃xff1a;服务级赋权&＃xff1a;GRANT xx ON SERVER xx TO ROLE xx WITH GRANT OPTION; 数据库赋权&＃xff1a;GRANT xx ON DATABASE xx TO ROLE xx WITH GRANT OPTION; 表赋权&＃xff1a;GRANT xx ON table xx TO ROLE xx WITH GRANT OPTION; URI赋权&＃xff1a;GRANT ALL ON URI &＃39;hdfs://namenode:XXX/path/to/table&＃39; TO ROLE xx WITH GRANT OPTION;

3. 将用户组加入到角色中&＃xff1a;GRANT ROLE xx TO GROUP xx;

4. 查看权限&＃xff1a;SHOW ROLES; SHOW CURRENT ROLES;SHOW GRANT ROLE role_name&＃xff1b;

    一些关键配置项:

• 需要关闭Hive的用户模拟功能: hive.server2.enable.impersonation/hive.server2.nable.doAs&＃61;false;

• 需要开启hdfs的访问控制列表功能acl: dfs.namenode.acl.enabled&＃61;true;

• 需要在HDFS中确保已开启sentry插件&＃xff0c;并启用ACL同步(enable sentry synchronization)&＃xff1b;

• 需要在hdfs中配置sentry需要同步的hive库的路径: sentry synchronization path prefix/sentry.hdfs.integration.path.prefix (默认是/user/hive/warehouse&＃xff0c;根据需要添加其它路径) ;

• 如果没有配置好sentry和hdfs的acl同步&＃xff0c;可以通过hdfs dfs -setfacl配置acl&＃xff0c;如&＃xff1a;hdfs dfs -setfacl -R -m group:xyz:rwx /user/hundsun/

    参考链接&＃xff1a;

https://cwiki.apache.org/confluence/display/Hive/LanguageManual&＃43;Authorization

https://cwiki.apache.org/confluence/display/SENTRY/Documentation