热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Ambari实战1:Ambari使用场景及介绍

本篇文章主要讲解Ambari的一些基础知识,让大家对Ambari有一个潜意识的认识。什么是Ambari?ApacheAmbari是一种基于We

本篇文章主要讲解Ambari的一些基础知识,让大家对Ambari有一个潜意识的认识。

什么是Ambari?


Apache Ambari是一种基于Web的集群管理工具,支持Apache Hadoop的供应,管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS,MapReduce,Hive,Pig,HBase,Zookeeper,Sqoop和HCatalog等。

Apache Ambari支持HDFS,MapReduce,Hive,Pig,HBase,Zookeeper,Sqoop和HCatalog等的集中管理。也是5个顶级Hadoop集群管理工具之一。

Ambari支持的组件?


组件服务 是否支持
HDFS
HBase
Hive
Yarn
Storm
Kafka
Knox
Solr
Druid
更多(自定义)

Ambari的功能


Ambari和Hadoop等开源软件一样,也是Apache Software Foundation组织中的一个项目,并且是顶级项目。目前最新的发布版本是2.7.5(2020年),未来不久将发布其他的版本。就Ambari的作用来说,就是创建,管理,监控Hadoop集群,但是这里的Hadoop是广义的,指的是Hadoop整个生态圈(例如Hive,HBase,Sqoop,Zookeeper等),而并不是特指Hadoop。用一句话来说,Ambari就是为了让Hadoop及相关的大数据组件更容易使用的一个工具。

Ambari的业绩


通过一步一步的安装向导简化了集群供应。

  • 预先配置好关键的运维指标(Metrics),也可以直接查看Hadoop Core(HDFS和MapReduce)及相关项目(如HBase,Hive和HCatalog等)是否健康。
  • 支持作业与任务执行的可视化和分析,能够更好的查看依赖和性能。
  • 通过一个完成的RESTful API把监控信息暴露出来,集成了现有的监控运维工具。
  • Ambari使用Ganglia收集度量指标,用Nagios支持系统报警,当需要引起管理员的关注时(比如,节点停机或磁盘剩余空间不足等问题),系统将向其发送邮件。
  • Ambari能够安装安全的(基于Kerberos)Hadoop集群,以此实现了对Hadoop安全的支持,提供了基于角色的用户认证,授权和审计功能,并为用户管理集成了LDAP和Active Directory。

Ambari使用场景


  • Hadoop集群管理及一键部署
  • Spark集群管理及一键部署
  • Storm集群管理及一键部署
  • Kafka集群管理及一键部署
  • ……更多的集群组件管理及一键部署

Ambari系统架构


Ambari实战-1:Ambari使用场景及介绍
0a170a2e0a14cd3b24baa53ed30ba03c.png

Ambari核心分为

  • Ambari Server 管理Ambari的底层服务,提供大量的RESTful API接口
  • Ambari Agent 用于监控管理集群节点的各种指标并上报至Ambari Server
  • Ambari Web Ambari服务的可视化UI界面
  • Ambari Ams Ambari的核心监控中心

Ambari核心开发语言


  • Java
  • Python

大部分都是使用Java进行开发的。


推荐阅读
  • 大数据技术原理与应用:大数据处理架构Hadoop生态圈
    Hadoop生态圈概述Hadoop简介什么是Apachehadoop?ApacheHadoop项目是以可靠、可扩展和分布式计算为目的而发展而来的开源软件ApacheHadoop软件 ... [详细]
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • HBase在金融大数据迁移中的应用与挑战
    随着最后一台设备的下线,标志着超过10PB的HBase数据迁移项目顺利完成。目前,新的集群已在新机房稳定运行超过两个月,监控数据显示,新集群的查询响应时间显著降低,系统稳定性大幅提升。此外,数据消费的波动也变得更加平滑,整体性能得到了显著优化。 ... [详细]
  • 系统:windows10eclipse版本:neon.3hadoop版本:ambari2.5.1安装下的hdp2.6.1对应hadoop版本2.7.3plugin版 ... [详细]
  • 深入理解云计算与大数据技术
    本文详细探讨了云计算与大数据技术的关键知识点,包括大数据处理平台、社会网络大数据、城市大数据、工业大数据、教育大数据、数据开放与共享的应用,以及搜索引擎与Web挖掘、推荐技术的研究及应用。文章还涵盖了云计算的基础概念、特点和服务类型分类。 ... [详细]
  • 本文介绍如何通过整合SparkSQL与Hive来构建高效的用户画像环境,提高数据处理速度和查询效率。 ... [详细]
  • 大数据领域的职业路径与角色解析
    本文将深入探讨大数据领域的各种职业和工作角色,帮助读者全面了解大数据行业的需求、市场趋势,以及从入门到高级专业人士的职业发展路径。文章还将详细介绍不同公司对大数据人才的需求,并解析各岗位的具体职责、所需技能和经验。 ... [详细]
  • 本文介绍了如何使用Flume从Linux文件系统收集日志并存储到HDFS,然后通过MapReduce清洗数据,使用Hive进行数据分析,并最终通过Sqoop将结果导出到MySQL数据库。 ... [详细]
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
  • 2012年9月12日优酷土豆校园招聘笔试题目解析与备考指南
    2012年9月12日,优酷土豆校园招聘笔试题目解析与备考指南。在选择题部分,有一道题目涉及中国人的血型分布情况,具体为A型30%、B型20%、O型40%、AB型10%。若需确保在随机选取的样本中,至少有一人为B型血的概率不低于90%,则需要选取的最少人数是多少?该问题不仅考察了概率统计的基本知识,还要求考生具备一定的逻辑推理能力。 ... [详细]
  • 在Hive中合理配置Map和Reduce任务的数量对于优化不同场景下的性能至关重要。本文探讨了如何控制Hive任务中的Map数量,分析了当输入数据超过128MB时是否会自动拆分,以及Map数量是否越多越好的问题。通过实际案例和实验数据,本文提供了具体的配置建议,帮助用户在不同场景下实现最佳性能。 ... [详细]
  • 本文介绍了在sqoop1.4.*版本中,如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件,并重新编译,可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码,重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细]
  • Hadoop源码解析1Hadoop工程包架构解析
    1 Hadoop中各工程包依赖简述   Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。   GoogleCluster:ht ... [详细]
  • hadoop2.2.0 分布式存储hdfs完全分布式搭建及功能测试记录(一)架构及原理介绍...
    0.文档说明:本文是围绕hadoop2.2的分布式文件系统hdfs进行分布式存储功能测试,形成的hdfs分布式存储功能测试报告,其中主要包 ... [详细]
author-avatar
lumanman158
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有