热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

hadoop集群ambari搭建(1)之ambari-server安装

ApacheAmbari是一种基于Web的工具,支持ApacheHadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig

Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

Ambari主要取得了以下成绩:

通过一步一步的安装向导简化了集群供应。
预先配置好关键的运维指标(metrics),可以直接查看Hadoop Core(HDFS和MapReduce)及相关项目(如HBase、Hive和HCatalog)是否健康。
支持作业与任务执行的可视化与分析,能够更好地查看依赖和性能。
通过一个完整的RESTful API把监控信息暴露出来,集成了现有的运维工具。
用户界面非常直观,用户可以轻松有效地查看信息并控制集群。
Ambari使用Ganglia收集度量指标,用Nagios支持系统报警,当需要引起管理员的关注时(比如,节点停机或磁盘剩余空间不足等问题),系统将向其发送邮件。

此外,Ambari能够安装安全的(基于Kerberos)Hadoop集群,以此实现了对Hadoop 安全的支持,提供了基于角色的用户认证、授权和审计功能,并为用户管理集成了LDAP和Active Directory。


1.安装centos 6.5操作系统 

每一个操作系统都配置了三块网卡,一块net,一块host only,一块桥接。除了net转发动态获取IP,其他的网卡IP都是静态配置的。
系统版本:CentOS release 6.5 (Final)CPU:model name      : Intel(R) Core(TM) i5-4460  CPU @ 3.20GHzstepping        : 3cpu MHz         : 3192.620cache size      : 6144 KBclflush size    : 64cache_alignment : 64address sizes   : 42 bits physical, 48 bits virtual内存MemTotal:        1004412 kB 1G硬盘总容量 20G
节点名称 IP1 IP2 备注
hadoop1 192.168.253.188 动态联网 root/123456/192.168.1.122  桥接
hadoop2 192.168.253.189
动态联网

hadoop3 192.168.253.190
动态联网



2.ssh免秘钥登录

创建用户hadoop
[root@hadoop3 ~]# useradd hadoop[root@hadoop3 ~]# passwd hadoop  修改密码 所有机器都使用同样的密码最好。

使用hadoop用户,命令如下
ssh-keygen -t rsa  生成rsa加密的密钥

cp id_rsa.pub authorized_keys             copy文件

cat id_rsa.pub>>authorized_keys 将其他的秘钥追加到这一个文件中,然后分发给所有机器

[hadoop@hadoop1 .ssh]$ cat id_rsa.pub ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAqxuCo78OdD/GIgphhLdKFA+vop4AnyiBaNDYlUE6PPwzqoBZVmmGPjrBV+rM/GQkZ1xrDCabKywvcgz+YW5vmo511bZ9ZBXQXck/zSkHcf84YXZo56dcFd00qpbFA1y/5KhtRn4J1REhHRJFYx99ZlBr9miNnGQfZeEYJsNANzTwJGU9Vc5r5Qvkhi9bJ70THkP0rMm2fuSYKTo3QxlixGzVCrZsG6D3Rv4KdXgKtkxAAvTi/7jVEu0WovjbpFlz2VoQT86zhQUmU6S8QWkMlk8kMvEzr+QUrS08ks+8BaSi7Kw+4NmfDNNd/EmI9j8NTWQEWajebOcJYl2n7HaXNw== hadoop@hadoop2.comssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5O2ru0IFgXmEdRvr/7cV9cJjZ2/MrYI7ip3UttVu1y6NskQBtqWPE08pxeX3VHoxtqFoqoJCdSlpr9KByngD4Z9U6d5j2UtLbZ9ZCs59YjSO+pinZaXpeKlXH4revdfoRJtmpG4FfyBDi11maDzoJEKObyz3Pi4QxvmI12NQtttFcCRPfv7MqT9l0tuwY5aRbCZVeybWwyZjhtI15p2NAB/042OsQ/FXLvtqVRl4+IOol0yjgi8KTKaBlvWDeKVrLzl4h0tuFUcfNv0yUW+KzrTD7Zj8Q7SpFg73uLn0Ufeq5UtCo0+poMpl+yVcZt0SD1Yic8Er5/i61Pg1ehCFKQ== hadoop@hadoop1.comssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA8wZr0bFUb0KeD8RfnX0KmujcpRw2r5hb/Opfp1ZXGU36BMmZDRwWHB8E1WaezRUubGVa/HTFm6zV7jetEJAsx9jUIPjEfRd25vW/Xej6gaYlUSg7yTf3H3KTb3wNmqiDziSD8yg9G0bPGcNXVfYAz7CEBPAxk9QFSJNtXxFeqSb9yKdBOzsA4hx1oLwV7G/xOUlCzuwSaS5YMG5eKrn1TDCK+FxcBxk6QpNAWO665XeKN/JTZi1bIQEAqC1tJJo1VFgW9/+gE2skI9RpJapVDm+TiZU/wOVqQek/hFLEfhL5f56wsJlz9lOBhxBPBGAbOBlzCJJCiOhmyx7sW73+Tw== hadoop@hadoop3.com scp :复制给其他的主机
 scp authorized_keys hadoop@192.168.253.188:.ssh/

3.接下来配置所有的hosts文件

[root@hadoop1 .ssh]# vi /etc/hosts 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.253.188 hadoop1.com192.168.253.189 hadoop2.com192.168.253.190 hadoop3.com~ wq保存。
分发: [root@hadoop1 .ssh]# scp /etc/hosts root@hadoop2.com:/etc/hosts [root@hadoop1 .ssh]# scp /etc/hosts root@hadoop3.com:/etc/hosts

4.配置完成检查是否可以免秘钥登录

[hadoop@hadoop2 ~]$ ssh hadoop3.comThe authenticity of host 'hadoop3.com (192.168.253.190)' can't be established.RSA key fingerprint is 16:c3:fc:d7:fc:db:98:ba:ef:aa:54:e4:d9:f5:51:be.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'hadoop3.com' (RSA) to the list of known hosts.[hadoop@hadoop3 ~]$  服务器之间可以互相ssh登录,成功

5.安装ambari

[root@hadoop1 ~]# yum install wget 安装wget工具
首先需要获取 Ambari 的公共库文件(public repository)。登录到 Linux 主机并执行下面的命令(也可以自己手工下载): wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo 将下载的 ambari.repo 文件拷贝到 Linux 的系统目录/etc/yum.repos.d/。拷贝完后,我们需要获取该公共库的所有的源文件列表。依次执行以下命令。 yum clean all yum list|grep ambari
Cleaning up list of fastest mirrors[root@hadoop1 yum.repos.d]# yum list|grep ambariambari-agent.x86_64                       2.0.1-45                       Updates-ambari-2.0.1ambari-log4j.noarch                       2.0.1.45-1                     Updates-ambari-2.0.1ambari-metrics-collector.x86_64           2.0.1-45                       Updates-ambari-2.0.1ambari-metrics-common.noarch              2.0.1-45                       Updates-ambari-2.0.1ambari-metrics-hadoop-sink.x86_64         2.0.1-45                       Updates-ambari-2.0.1ambari-metrics-monitor.x86_64             2.0.1-45                       Updates-ambari-2.0.1ambari-server.noarch                      2.0.1-45                       Updates-ambari-2.0.1hdp_mon_ganglia_addons.noarch             2.0.1.45-1.el6                 Updates-ambari-2.0.1hdp_mon_nagios_addons.noarch              2.0.1.45-1.el6                 Updates-ambari-2.0.1

6.ambari配置

待安装完成后,便需要对 Ambari Server 做一个简单的配置。执行下面的命令。

amari-server setup
[root@hadoop1 ~]# ambari-server setupUsing python  /usr/bin/python2.6Setup ambari-serverChecking SELinux...SELinux status is 'enabled'SELinux mode is 'enforcing'Temporarily disabling SELinuxWARNING: SELinux is set to 'permissive' mode and temporarily disabled.OK to continue [y/n] (y)? yCustomize user account for ambari-server daemon [y/n] (n)? Adjusting ambari-server permissions and ownership...Checking iptables...WARNING: iptables is running. Confirm the necessary Ambari ports are accessible. Refer to the Ambari documentation for more details on ports.OK to continue [y/n] (y)? Checking JDK...[1] Oracle JDK 1.7[2] Oracle JDK 1.6[3] - Custom JDK==============================================================================Enter choice (1): 1To download the Oracle JDK and the Java Cryptography Extension (JCE) Policy Files you must accept the license terms found at http://www.oracle.com/technetwork/java/javase/terms/license/index.html and not accepting will cancel the Ambari Server setup and you must install the JDK and JCE files manually.Do you accept the Oracle Binary Code License Agreement [y/n] (y)? Downloading JDK from http://public-repo-1.hortonworks.com/ARTIFACTS/jdk-7u67-linux-x64.tar.gz to /var/lib/ambari-server/resources/jdk-7u67-linux-x64.tar.gz

7.ambari启动

简单的 setup 配置完成后。就可以启动 Ambari 了。运行下面的命令。

ambari-server start
[root@hadoop1 ~]# ambari-server startUsing python  /usr/bin/python2.6Starting ambari-serverAmbari Server running with administrator privileges.Organizing resource files at /var/lib/ambari-server/resources...Server PID at: /var/run/ambari-server/ambari-server.pidServer out at: /var/log/ambari-server/ambari-server.outServer log at: /var/log/ambari-server/ambari-server.logWaiting for server start....................Ambari Server 'start' completed successfully.
通过命令tail -f /var/log/ambari-server/ambari-server.log 查看服务器日志 [root@hadoop1 ~]# tail -f /var/log/ambari-server/ambari-server.log 29 Dec 2015 13:25:44,472  INFO [main] Configuration:514 - Generation of file with password29 Dec 2015 13:25:46,115  INFO [main] Configuration:527 - Reading password from existing file29 Dec 2015 13:25:47,753  INFO [main] Configuration:527 - Reading password from existing file29 Dec 2015 13:25:48,195  INFO [main] ViewExtractor:82 - Creating archive folder /var/lib/ambari-server/resources/views/work/ADMIN_VIEW{2.0.0}.29 Dec 2015 13:25:48,196  INFO [main] ViewExtractor:89 - Extracting files from ambari-admin-2.0.1.45.jar.29 Dec 2015 13:25:49,386  INFO [main] Configuration:527 - Reading password from existing file29 Dec 2015 16:32:07,171  INFO [main] Configuration:527 - Reading password from existing file29 Dec 2015 16:32:07,213  INFO [main] Configuration:747 - Hosts Mapping File null29 Dec 2015 16:32:07,213  INFO [main] HostsMap:60 - Using hostsmap file null29 Dec 2015 16:32:08,470  INFO [main] ControllerModule:173 - Detected POSTGRES as the database type from the JDBC URL29 Dec 2015 16:32:18,870  INFO [main] AmbariServer:655 - Getting the controller29 Dec 2015 16:32:22,555  INFO [main] StackDirectory:408 - Stack '/var/lib/ambari-server/resources/stacks/HDP/2.0.6.GlusterFS' doesn't contain an upgrade directory29 Dec 2015 16:32:22,613  INFO [main] StackDirectory:429 - Role command order info was loaded from file: /var/lib/ambari-server/resources/stacks/HDP/2.0.6.GlusterFS/role_command_order.json29 Dec 2015 16:32:22,703  INFO [main] StackDirectory:408 - Stack '/var/lib/ambari-server/resources/stacks/HDP/2.1.GlusterFS' doesn't contain an upgrade directory

8.完成

打开地址 http://192.168.1.122:8080/ 完成

Charles 2015-12-29于Phnom Phen



版权说明:本文由Charles Dong原创,本人支持开源以及免费有益的传播,反对商业化谋利。CSDN博客:http://blog.csdn.net/mrcharles个人站:http://blog.xingbod.cnEMAIL:charles@xingbod.cn



推荐阅读
  • 经过多年的发展,Hadoop生态系统不断完善和成熟,目前已经包括了多个子项目,除了核心的HDFS和MapReduce以外,Hadoop生态系统还包括要ZoopKer、HBase、H ... [详细]
  • 大数据领域的职业路径与角色解析
    本文将深入探讨大数据领域的各种职业和工作角色,帮助读者全面了解大数据行业的需求、市场趋势,以及从入门到高级专业人士的职业发展路径。文章还将详细介绍不同公司对大数据人才的需求,并解析各岗位的具体职责、所需技能和经验。 ... [详细]
  • 本文介绍如何通过整合SparkSQL与Hive来构建高效的用户画像环境,提高数据处理速度和查询效率。 ... [详细]
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • 第二章:Kafka基础入门与核心概念解析
    本章节主要介绍了Kafka的基本概念及其核心特性。Kafka是一种分布式消息发布和订阅系统,以其卓越的性能和高吞吐量而著称。最初,Kafka被设计用于LinkedIn的活动流和运营数据处理,旨在高效地管理和传输大规模的数据流。这些数据主要包括用户活动记录、系统日志和其他实时信息。通过深入解析Kafka的设计原理和应用场景,读者将能够更好地理解其在现代大数据架构中的重要地位。 ... [详细]
  • 在搭建Hadoop集群以处理大规模数据存储和频繁读取需求的过程中,经常会遇到各种配置难题。本文总结了作者在实际部署中遇到的典型问题,并提供了详细的解决方案,帮助读者避免常见的配置陷阱。通过这些经验分享,希望读者能够更加顺利地完成Hadoop集群的搭建和配置。 ... [详细]
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • HBase在金融大数据迁移中的应用与挑战
    随着最后一台设备的下线,标志着超过10PB的HBase数据迁移项目顺利完成。目前,新的集群已在新机房稳定运行超过两个月,监控数据显示,新集群的查询响应时间显著降低,系统稳定性大幅提升。此外,数据消费的波动也变得更加平滑,整体性能得到了显著优化。 ... [详细]
  • 本文详细介绍了HDFS的基础知识及其数据读写机制。首先,文章阐述了HDFS的架构,包括其核心组件及其角色和功能。特别地,对NameNode进行了深入解析,指出其主要负责在内存中存储元数据、目录结构以及文件块的映射关系,并通过持久化方案确保数据的可靠性和高可用性。此外,还探讨了DataNode的角色及其在数据存储和读取过程中的关键作用。 ... [详细]
  • 深入理解云计算与大数据技术
    本文详细探讨了云计算与大数据技术的关键知识点,包括大数据处理平台、社会网络大数据、城市大数据、工业大数据、教育大数据、数据开放与共享的应用,以及搜索引擎与Web挖掘、推荐技术的研究及应用。文章还涵盖了云计算的基础概念、特点和服务类型分类。 ... [详细]
  • 深入解析:存储技术的演变与发展
    本文探讨了从单机文件系统到分布式文件系统的存储技术发展过程,详细解释了各种存储模型及其特点。 ... [详细]
  • 本文介绍了如何在 MapReduce 作业中使用 SequenceFileOutputFormat 生成 SequenceFile 文件,并详细解释了 SequenceFile 的结构和用途。 ... [详细]
  • Hadoop Datanode DataXceiver 错误处理问题
    Ambari 每分钟会向 Datanode 发送一次“ping”请求以确保其正常运行。然而,Datanode 在处理空内容时没有相应的逻辑,导致出现错误。 ... [详细]
  • 本文介绍了Hadoop的核心组件,包括高可靠性和高吞吐量的分布式文件系统HDFS、分布式的离线并行计算框架MapReduce、作业调度与集群资源管理框架YARN以及支持其他模块的工具模块Common。 ... [详细]
  • 本文介绍了如何使用Flume从Linux文件系统收集日志并存储到HDFS,然后通过MapReduce清洗数据,使用Hive进行数据分析,并最终通过Sqoop将结果导出到MySQL数据库。 ... [详细]
author-avatar
璋houge
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有