在云主机上安装hadoop分布式模式

一、 背景

最近这两周在UCloud公司实习，第一周尝试了云计算，第二周尝试并研究了大数据生态中的hadoop、yarn、spark、mapreduce等技术，并在公司提供的云主机上分别安装了hadoop伪分布式模式、hadoop分布式模式、yarn、spark以及在hadoop分布式模式上提交与查看作业。
本文介绍在一台云主机上安装hadoop完全分布模式。

二、 实验目标

在部署的3台主机m1、m2、m3中，分别安装hadoop，修改配置文件，实现hadoop的完全分布式。

三、 实验环境

3台云主机操作系统：CentOS7
jdk.1.8.0_191及以上已安装，具体JAVA版本与hadoop版本的对应关系，请参考https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions

四、 实验过程

1.关闭防火墙和SELinux（后面步骤会详细介绍做法）

2.修改IP映射关系
编辑/etc/hosts文件，添加如下内容（具体格式为：内网IP+tab+主机名，这里的内网IP是为了便于描述，实际的IP可能并不相邻，但一定在同一网段）：
192.168.1.1 m1
192.168.1.2 m2
192.168.1.3 m3

3.关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

4.关闭SELinux
vim /etc/selinux/config，修改第7行（如果有）enforcing为disabled

5.安装openssh客户端
yum –y install psmisc openssh-clients

6.重启所有服务器

7.配置各主机之间的ssh免密登录（此处不再赘述）
这里注意，一定要免密登录，否则每次互相通信都要输入密码，很繁琐，效率低下。
ssh免密登录的测试方法：
在m1中输入 ssh m2，看是否可以在不提示输密码的情况下，登录到m2中，其他主机之间同理（都要互相测试一下，否则可能有些主机之间通了，有些主机之间没有通）。

8.从hadoop官网下载hadoop包：http://www.apache.org/dyn/closer.cgi/hadoop/common/
这里选择hadoop2.8.5

9.将下载的hadoop-2.8.5.tar.gz通过winscp传入主机中，解压到云主机，位置自定

10.配置环境变量
编辑 /etc/profile 文件，在末尾追加如下内容（具体路径要根据自己解压hadoop的路径而做出改变）：
export JAVA_HOME=/home/yourUserName/module/jdk1.8.0_201
export PATH=$PATH:$PATH:JAVA_HOME/bin
export HADOOP_HOME=/home/yourUserName/module/hadoop-2.7.2
export PATH=$PATH:$PATH:HADOOP_HOME/bin
export PATH=$PATH:$PATH:HADOOP_HOME/sbin

11. 刷新环境变量 source /etc/profile

12.在m1中，修改hadoop的配置文件hadoop-env.sh
把${JAVA_HOME}改为绝对路径，如export JAVA_HOME=/home/name/module/jdk1.8.0_201

13.在m1中，修改hadoop的配置文件mapred-env.sh
在第16行，删除#后把${JAVA_HOME}改为绝对路径，如export JAVA_HOME=/home/name/module/jdk1.8.0_201

14.在m1中，修改hadoop的配置文件yarn-env.sh
在第23行，删除#后把${JAVA_HOME}改为绝对路径，如export JAVA_HOME=/home/name/module/jdk1.8.0_201

15.在m1中，修改hadoop的配置文件core-site.xml

16.在m1中，修改hadoop的配置文件hdfs-site.xml

17. 在m1中，修改hadoop的配置文件mapred-site.xml

18. 在m1中，修改hadoop的配置文件yarn-site.xml

19. 在m1中，修改hadoop的配置文件slaves
slaves设定了datanode，我的配置中，设定m2与m3为datanode，所以我的salves中为：
m2
m3

20.m1通过scp命令，将配置文件分发到其他各节点
scp -r /home/name/module [email protected]:/home/name/
scp -r /home/name/module [email protected]:/home/name/