热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

hadoop用户认证Kerberos介绍

Kerberos的概述强大的认证和建立用户身份是Hadoop安全访问的基础。用户需要能够可靠地“证明”自身,然后在整个

Kerberos 的概述

强大的认证和建立用户身份是Hadoop安全访问的基础。

用户需要能够可靠地“证明”自身,然后在整个Hadoop集群中传播该身份。一旦这样做,这些用户可以访问资源(如文件或目录)或与集群进行交互(如运行MapReduce作业)。

除了用户之外,Hadoop集群资源本身(如主机和服务)需要彼此认证,以避免潜在的恶意系统或守护程序的“构成”受信任的组件,以获取对数据的访问。

Hadoop使用Kerberos作为用户和服务的强身份验证和身份传播的基础。Kerberos是第三方认证机制,其中用户和服务依赖第三方(Kerberos服务器)来对每个认证机制进行认证。Kerberos服务器本身被称为密钥分发中心KDC。在高层次上,它有三个部分:

  • 一个存放用户和服务(称为主体)及其各自的Kerberos密码的数据库
  • 一个认证服务器(AS)执行初始认证并颁发票证授予票证(TGT)
  • 一个票据授权服务器(TGS)发出基于初始后续服务票证TGT
    一个用户主体来自AS请求认证。AS返回使用用户主体的Kerberos密码加密的TGT,该密码仅对用户主体和AS已知。用户主体使用其Kerberos密码在本地解密TGT,从该点开始,直到票证过期,用户主体可以使用TGT从TGS获取服务票据。服务票是允许校长访问各种服务的。

因为集群资源(主机或服务)每次无法提供密码来解密TGT,所以他们使用一个特殊文件,称为Keytab,其中包含资源主体的身份验证凭据。Kerberos服务器控制的主机,用户和服务集合称为领域

术语

术语描述
密钥分配中心或KDC在启用Kerberos的环境中用于验证的受信任来源。
Kerberos KDC服务器作为密钥分发中心(KDC)的机器或服务器。
Kerberos客户端集群中的任何针对KDC认证的机器。
主体principal针对KDC认证的用户或服务的唯一名称。
Keytab包含一个或多个主体及其键的文件。
领域realm包含KDC和多个客户端的Kerberos网络。
KDC管理帐号Ambari用于在KDC中创建主体并生成密钥表的管理帐户。

另一篇文章中对相关术语的定义:

A Kerberos realm is a set of managed nodes that share the same Kerberos database.
A Kerberos principal is a service or user that is known to the Kerberos system.

Kerberos 主体

Hadoop中的每个服务和子服务都必须有自己的主体。给定领域的主体名称由一个主名称和一个实例名称组成,实例名称为运行该服务的主机的FQDN。由于服务不使用密码登录来获取其票据,因此其主体的身份验证凭据存储在从Kerberos数据库提取的密钥表文件中,并将其本地存储在服务主体上的服务主体的安全目录中。

主体和 Keytab 的命名约定:

名称约定范例
校长$service_component_name/$FQDN@EXAMPLE.COMnn/c6401.ambari.apache.org@EXAMPLE.COM
Keytabs$service_component_abbreviation.service.keytab/etc/security/keytabs/nn.service.keytab

除了 Hadoop 服务主体外,Ambari 本身还需要一套 Ambari 主体来执行服务“冒烟”检查,执行警报健康检查和从集群组件检索度量。Ambari主体的 Keytab 文件会驻留在群集的每台主机上,就像一般服务主体的 Keytab 文件一样。

Ambari主体描述
冒烟和 headless 服务用户由 Ambari 用于执行服务“冒烟”检查并运行警报健康检查。
Ambari 服务器用户当集群启用 Kerberos 时,组件REST端点(例如YARN ATS组件)需要SPNEGO身份验证。Ambari Server需要访问这些API,并需要Kerberos主体才能通过SPNEGO针对这些API进行身份验证。

推荐阅读
  • 如何在U8系统中连接服务器并获取数据
    本文介绍了如何在U8系统中通过不同的方法连接服务器并获取数据,包括使用MySQL客户端连接实例的方法,如非SSL连接和SSL连接,并提供了详细的步骤和注意事项。 ... [详细]
  • 本文探讨了如何通过Service Locator模式来简化和优化在B/S架构中的服务命名访问,特别是对于需要频繁访问的服务,如JNDI和XMLNS。该模式通过缓存机制减少了重复查找的成本,并提供了对多种服务的统一访问接口。 ... [详细]
  • 本文探讨了在使用JavaMail发送电子邮件时,抄送功能未能正常工作的问题,并提供了详细的代码示例和解决方法。 ... [详细]
  • 本文整理了一份基础的嵌入式Linux工程师笔试题,涵盖填空题、编程题和简答题,旨在帮助考生更好地准备考试。 ... [详细]
  • 本文详细介绍如何使用Netzob工具逆向未知通信协议,涵盖从基本安装到高级模糊测试的全过程。通过实例演示,帮助读者掌握Netzob的核心功能。 ... [详细]
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
  • 如何高效启动大数据应用之旅?
    在前一篇文章中,我探讨了大数据的定义及其与数据挖掘的区别。本文将重点介绍如何高效启动大数据应用项目,涵盖关键步骤和最佳实践,帮助读者快速踏上大数据之旅。 ... [详细]
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • PHP中元素的计量单位是什么? ... [详细]
  • 调试利器SSH隧道
    在开发微信公众号或小程序的时候,由于微信平台规则的限制,部分接口需要通过线上域名才能正常访问。但我们一般都会在本地开发,因为这能快速的看到 ... [详细]
  • Cookie学习小结
    Cookie学习小结 ... [详细]
  • 本文介绍了如何使用Flume从Linux文件系统收集日志并存储到HDFS,然后通过MapReduce清洗数据,使用Hive进行数据分析,并最终通过Sqoop将结果导出到MySQL数据库。 ... [详细]
  • 在前一篇文章《Hadoop》系列之“踽踽独行”(二)中,我们详细探讨了云计算的核心概念。本章将重点转向物联网技术,全面解析其基本原理、应用场景及未来发展前景。通过深入分析物联网的架构和技术栈,我们将揭示其在智能城市、工业自动化和智能家居等领域的广泛应用潜力。此外,还将讨论物联网面临的挑战,如数据安全和隐私保护等问题,并展望其在未来技术融合中的重要角色。 ... [详细]
  • 在Hive中合理配置Map和Reduce任务的数量对于优化不同场景下的性能至关重要。本文探讨了如何控制Hive任务中的Map数量,分析了当输入数据超过128MB时是否会自动拆分,以及Map数量是否越多越好的问题。通过实际案例和实验数据,本文提供了具体的配置建议,帮助用户在不同场景下实现最佳性能。 ... [详细]
author-avatar
伊夕言
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有