热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Ambari实战1:Ambari使用场景及介绍

本篇文章主要讲解Ambari的一些基础知识,让大家对Ambari有一个潜意识的认识。什么是Ambari?ApacheAmbari是一种基于We

本篇文章主要讲解Ambari的一些基础知识,让大家对Ambari有一个潜意识的认识。

什么是Ambari?


Apache Ambari是一种基于Web的集群管理工具,支持Apache Hadoop的供应,管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS,MapReduce,Hive,Pig,HBase,Zookeeper,Sqoop和HCatalog等。

Apache Ambari支持HDFS,MapReduce,Hive,Pig,HBase,Zookeeper,Sqoop和HCatalog等的集中管理。也是5个顶级Hadoop集群管理工具之一。

Ambari支持的组件?


组件服务 是否支持
HDFS
HBase
Hive
Yarn
Storm
Kafka
Knox
Solr
Druid
更多(自定义)

Ambari的功能


Ambari和Hadoop等开源软件一样,也是Apache Software Foundation组织中的一个项目,并且是顶级项目。目前最新的发布版本是2.7.5(2020年),未来不久将发布其他的版本。就Ambari的作用来说,就是创建,管理,监控Hadoop集群,但是这里的Hadoop是广义的,指的是Hadoop整个生态圈(例如Hive,HBase,Sqoop,Zookeeper等),而并不是特指Hadoop。用一句话来说,Ambari就是为了让Hadoop及相关的大数据组件更容易使用的一个工具。

Ambari的业绩


通过一步一步的安装向导简化了集群供应。

  • 预先配置好关键的运维指标(Metrics),也可以直接查看Hadoop Core(HDFS和MapReduce)及相关项目(如HBase,Hive和HCatalog等)是否健康。
  • 支持作业与任务执行的可视化和分析,能够更好的查看依赖和性能。
  • 通过一个完成的RESTful API把监控信息暴露出来,集成了现有的监控运维工具。
  • Ambari使用Ganglia收集度量指标,用Nagios支持系统报警,当需要引起管理员的关注时(比如,节点停机或磁盘剩余空间不足等问题),系统将向其发送邮件。
  • Ambari能够安装安全的(基于Kerberos)Hadoop集群,以此实现了对Hadoop安全的支持,提供了基于角色的用户认证,授权和审计功能,并为用户管理集成了LDAP和Active Directory。

Ambari使用场景


  • Hadoop集群管理及一键部署
  • Spark集群管理及一键部署
  • Storm集群管理及一键部署
  • Kafka集群管理及一键部署
  • ……更多的集群组件管理及一键部署

Ambari系统架构


Ambari实战-1:Ambari使用场景及介绍
0a170a2e0a14cd3b24baa53ed30ba03c.png

Ambari核心分为

  • Ambari Server 管理Ambari的底层服务,提供大量的RESTful API接口
  • Ambari Agent 用于监控管理集群节点的各种指标并上报至Ambari Server
  • Ambari Web Ambari服务的可视化UI界面
  • Ambari Ams Ambari的核心监控中心

Ambari核心开发语言


  • Java
  • Python

大部分都是使用Java进行开发的。


推荐阅读
  • kafka(一)
    KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最 ... [详细]
  • 在Linux系统中,原本已安装了多个版本的Python 2,并且还安装了Anaconda,其中包含了Python 3。本文详细介绍了如何通过配置环境变量,使系统默认使用指定版本的Python,以便在不同版本之间轻松切换。此外,文章还提供了具体的实践步骤和注意事项,帮助用户高效地管理和使用不同版本的Python环境。 ... [详细]
  • 本文探讨了 Kafka 集群的高效部署与优化策略。首先介绍了 Kafka 的下载与安装步骤,包括从官方网站获取最新版本的压缩包并进行解压。随后详细讨论了集群配置的最佳实践,涵盖节点选择、网络优化和性能调优等方面,旨在提升系统的稳定性和处理能力。此外,还提供了常见的故障排查方法和监控方案,帮助运维人员更好地管理和维护 Kafka 集群。 ... [详细]
  • 第二章:Kafka基础入门与核心概念解析
    本章节主要介绍了Kafka的基本概念及其核心特性。Kafka是一种分布式消息发布和订阅系统,以其卓越的性能和高吞吐量而著称。最初,Kafka被设计用于LinkedIn的活动流和运营数据处理,旨在高效地管理和传输大规模的数据流。这些数据主要包括用户活动记录、系统日志和其他实时信息。通过深入解析Kafka的设计原理和应用场景,读者将能够更好地理解其在现代大数据架构中的重要地位。 ... [详细]
  • 技术日志:深入探讨Spark Streaming与Spark SQL的融合应用
    技术日志:深入探讨Spark Streaming与Spark SQL的融合应用 ... [详细]
  • Storm集成Kakfa
    一、整合说明Storm官方对Kafka的整合分为两个版本,官方说明文档分别如下:StormKafkaIntegratio ... [详细]
  • Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及流式消费变化数据的能力。应用场景近实时数据摄取Hudi支持插入、更新和删除数据的能力。您 ... [详细]
  • 转载:https:blog.csdn.nethigh2011articledetails70155431清华大学镜像网:https:mirrors.tu ... [详细]
  • HortonworksDataPlatform3.0.0版本,基本上集成Hadoop社区生态最新版本 ... [详细]
  • 大数据技术原理与应用:大数据处理架构Hadoop生态圈
    Hadoop生态圈概述Hadoop简介什么是Apachehadoop?ApacheHadoop项目是以可靠、可扩展和分布式计算为目的而发展而来的开源软件ApacheHadoop软件 ... [详细]
  • hadoop2.2.0 分布式存储hdfs完全分布式搭建及功能测试记录(一)架构及原理介绍...
    0.文档说明:本文是围绕hadoop2.2的分布式文件系统hdfs进行分布式存储功能测试,形成的hdfs分布式存储功能测试报告,其中主要包 ... [详细]
  • Kafka 是由 Apache 软件基金会开发的高性能分布式消息系统,支持高吞吐量的发布和订阅功能,主要使用 Scala 和 Java 编写。本文将深入解析 Kafka 的安装与配置过程,为程序员提供详尽的操作指南,涵盖从环境准备到集群搭建的每一个关键步骤。 ... [详细]
  • HBase Java API 进阶:过滤器详解与应用实例
    本文详细探讨了HBase 1.2.6版本中Java API的高级应用,重点介绍了过滤器的使用方法和实际案例。首先,文章对几种常见的HBase过滤器进行了概述,包括列前缀过滤器(ColumnPrefixFilter)和时间戳过滤器(TimestampsFilter)。此外,还详细讲解了分页过滤器(PageFilter)的实现原理及其在大数据查询中的应用场景。通过具体的代码示例,读者可以更好地理解和掌握这些过滤器的使用技巧,从而提高数据处理的效率和灵活性。 ... [详细]
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • Hadoop 2.6.0 HDFS Rack Awareness(机架感知)原理与配置步骤详解
    Hadoop2.6.0HDFSRackAwareness(机架感知)原理与配置步骤详解前言:  多副本前提下,在访问HadoopHDFS集群时,访问速度直接受到Datanode选取 ... [详细]
author-avatar
lumanman158
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有