Ambari安装与搭建Hadoop

Ambari简介

以下内容摘自百度百科

Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等），而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

Ambari主要取得了以下成绩：

• 通过一步一步的安装向导简化了集群供应。
• 预先配置好关键的运维指标（metrics），可以直接查看Hadoop Core（HDFS和MapReduce）及相关项目（如HBase、Hive和HCatalog）是否健康。
• 支持作业与任务执行的可视化与分析，能够更好地查看依赖和性能。
• 通过一个完整的RESTful API把监控信息暴露出来，集成了现有的运维工具。
• 用户界面非常直观，用户可以轻松有效地查看信息并控制集群。

准备工作

需要的工具有:yum rpm scp curl wget pdsh 前几个一般系统都自带了，pdsh需要自己装


使用如下命令:

sudo yum -y install epel-release
sudo yum install pdsh


配置hosts

执行命令:

sudo vi /etc/hosts


添加如下内容(根据情况修改,dn1这名字最好和节点服务器的主机名相同,以防后期可能会出主机名不一致的错):

192.168.1.49 master master.hadoop.test
192.168.1.48 dn1 dn1.hadoop.test
192.168.1.47 dn2 dn2.hadoop.test


配置ssh免登录

选定master.hadoop.test作为ambari server，需要配置该节点到其它节点的ssh免登录

cd ~
ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


一直敲回车,遇到(y/n)?敲y 回车

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys


配置本地的免登录

scp ~/.ssh/authorized_keys root@dn1:/root/.ssh/
scp ~/.ssh/authorized_keys root@dn2:/root/.ssh/


其他

setenforce 0
chkconfig iptables off
/etc/init.d/iptables stop
umask 022


安装Ambari Server

添加yum资源库

wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.1/ambari.reposud
cp ambari.repo /etc/yum.repos.d
yum repolist


开始安装

sudo yum install ambari-server
ambari-server setup


以上两个可能会因为网络原因,Python版本,jdk安装等原因失败
中途会出现选择数据库的选项,选择推荐的
在执行ambari-server setup时出现错误或者感觉里面的选项错误时要重新执行时先执行 ambari-server reset 后在执行 ambari-server setup

启动服务

ambari-server start


服务启动成功后打开浏览器访问http://本机ip:8080 如: (http://192.168.1.46:8080)
用户名和密码:admin/admin
出现Running server: ***(一些java参数) 可能是jdk的问题
出现启动成功,但是却访问不了的情况,查看日志文件会发现java抛了找不到host的异常,在/etc/hosts里加入 本机ip 主机名 (192.168.1.46 likun)

Hadoop集群搭建搭

搭建集群的按钮

QQ截图20160715103303.png

新建集群

输入集群名称,名字不支持 -号空格等

QQ截图20160715103916.png

版本号选择

QQ截图20160715104258.png

系统的版本不同悬着的os版本也不同

QQ截图20160715104613.png

创建ssh免登陆时,.ssh文件夹下有该文件

QQ截图20160715110426.png

这一步很容易因为配置文件的原因出错(可能节点服务器没设置好dns,导致yum不能使用,也可能节点主机名和先前填写的主机名不一致)

QQ截图20160715113759.png

选择要安装哪些

QQ截图20160715133129.png

要在什么机器上装什么自己选

QQ截图20160715133952.png
QQ截图20160715134037.png
QQ截图20160715134048.png

正在安装

QQ截图20160715134057.png
QQ截图20160715141753.png

监控页面

QQ截图20160715141933.png