安装Hadoop集群的准备工作（详细附图）

​ 在搭建Hadoop集群之前&＃xff0c;已经在虚拟机上安装了三台Linux服务器&＃xff0c;并且Linux的IP地址也已经配置好了&＃xff0c;所以安装Linux服务器的过程省略了。本文主要讲述如何在此基础上&＃xff0c;逐步搭建Hadoop环境。
**备注&＃xff1a;**如果需要相关软件&＃xff0c;可以私信发百度云链接

设备信息&＃xff1a;

• 虚拟机版本&＃xff1a;VMware-workstation-full-12.5.0-4352439.exe
• Linux镜像&＃xff1a;CentOS-7-x86_64-DVD-1511.iso
• 三台Linux服务器&＃xff0c;SecureCRT远程连接工具&＃xff0c;WinSCP远程文件传输工具。注意&＃xff1a;SecureCRT是为了用命令行来操作&＃xff0c;当然也可以进行文件传输&＃xff0c;如果Linux操作命令不是很熟练的话&＃xff0c;建议还是用SecureCRT来加强印象&＃xff0c;如果熟练的话&＃xff0c;可以直接用WinSCP来进行文件传输操作。

​

​ Linux服务器信息&＃xff1a;主要是三台Linux服务器的IP地址

• 第一台&＃xff1a;192.168.152.128
• 第二台&＃xff1a;192.168.152.129
• 第三台&＃xff1a;192.168.152.130

Linux连接外网设置&＃xff1a;
首先更改网络适配器&＃xff1a;

找到Vmnet8的网卡&＃xff0c;点击属性进入

点击修改ipv4的地址&＃xff0c;个人设置的为192.168.152.1

以上步骤完成之后&＃xff0c;Windows的ip就配置好了

然后配置Linux的信息&＃xff1a;
首先打开Linux的虚拟网络编辑器&＃xff0c;选择Vmnet8的nat模式&＃xff0c;并将IP地址写成刚刚在Windows上的Ipv4的地址&＃xff0c;子网掩码相同。

接着设置Nat,点击NAT设置

将子网和网关还是写成Windows的Ipv4的地址&＃xff0c;注意&＃xff0c;最后一位随意。

最后是DHCP设置
点击DHCP设置

设置IP起始地址和结束地址&＃xff0c;前面三位相同&＃xff0c;最后一位介于1~254之间即可。

至此&＃xff0c;Windows和Linux的IP就配置成完成了&＃xff01;

接着就是修改Linux的IP&＃xff0c;择其中一台主机&＃xff0c;
然后输入&＃xff1a;vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
将BOOTPRPTO这一行注释掉&＃xff0c;然后添加&＃xff1a;
IPADDR&＃61;192.168.152.128
NETMASK&＃61;255.255.255.0
GATEWAY&＃61;192.168.152.2
DNS1&＃61;8.8.8.8
然后退出并保存。

然后重启网卡&＃xff0c;输入命令&＃xff1a;service network restart
接着查看IP是否修改成功&＃xff0c;输入命令&＃xff1a;ip addr

结果显示&＃xff0c;IP修改成功。
在ping 一下百度&＃xff0c;看是否能够ping通&＃xff0c;输入命令&＃xff1a; www.baidu.com

结果显示能够ping通。

1&＃xff1a;集群准备工作

​1.1 &＃xff1a;关闭防火墙

​ 查看防火墙状态&＃xff1a;firewall-cmd --state

​ 当前关闭&＃xff1a;systemctl stop firewalld ------ 关闭当前的防火墙&＃xff0c;但下次重启之后防火墙还会生效&＃xff1b;

​ 永久关闭&＃xff1a;systemctl disable firewalld ------永久性关闭防火墙&＃xff0c;以后重启之后防火墙自动关闭。

因为要进行远程连接&＃xff0c;所以选择永久关闭防火墙。

注意&＃xff1a;三台机器都要永久性关闭&＃xff0c;然后关闭Linux服务器再重启&＃xff0c;用SecureCRT重新连接之后&＃xff0c;输入命令&＃xff1a;firewall-cmd --state 来检查防火墙状态&＃xff0c;如果显示 not running&＃xff0c;表示防火墙已经永久性关闭&＃xff1a;

结果显示&＃xff0c;防火墙已经关闭

1.2&＃xff1a;永久性修改主机名

​ 总是输入IP地址显得太繁琐&＃xff0c;并且容易出错&＃xff0c;所以修改主机名的目的是为了后面方便文件传输和信息配置。

​ 修改主机名命令&＃xff1a;vi /etc/hosts

​ 注意&＃xff1a;需要重启生效->reboot

​ 查看当前主机名&＃xff1a;是在当前192.168.152.128的主机上

​ 然后输入vi /etc/hosts修改主机名&＃xff0c;

查看是否修改成功&＃xff1a;cat /etc/hosts

​ 结果显示修改成功&＃xff01;

​ 注意&＃xff1a;这是在192.168.152.128的服务器上修改主机名&＃xff0c;因此后面两台192.168.152.129和192.168.152.129也需要修改步骤和上面一样&＃xff0c;但是这里有一个技巧&＃xff1a;将192.168.152.128修改后的信息直接传输到后两台机器中

传输命令&＃xff1a;scp -r /etc/hosts 192.168.152.129:/etc/

​ scp&＃xff1a;表示传输命令

​ -r :表示传输文件

​ /etc/hosts &＃xff1a;表示当前需要传输文件的所在目录

​ 192.168.152.129 &＃xff1a;表示要传输的服务器IP地址

​ /etc/ &＃xff1a;表示要传输的服务器的目录&＃xff0c;因为之前是在128的主机的/etc/hosts目下修改主机名&＃xff0c;所以要传输到129主机的etc的目录下&＃xff0c;128的hosts目录会将129的hosts目录覆盖。

​

​ 然后在129的主机上查看是否修改成功&＃xff0c;命令&＃xff1a;

​ 显示修改成功。

在128的主机上&＃xff0c;再将128的信息传输到130的主机上&＃xff0c;步骤同上&＃xff0c;只需要将传输命令改成

scp -r /etc/hosts 192.168.152.130:/etc/ 即可

​ 结果显示&＃xff1a;

​ 130的主机也修改成功&＃xff01;

当三台机器主机名都修改成功后&＃xff0c;需要重启生效

在每台机器下输入命令&＃xff1a;reboot

1.3&＃xff1a; 配置映射文件

​ 需要的配置版本信息&＃xff1a;

• jdK版本&＃xff1a;jdk-8u144-linux-x64.tar.gz

在128的主机上&＃xff0c;进行远程传输&＃xff0c;输入命令&＃xff1a;Alt&＃43;p 后&＃xff0c;会打开了128主机的SFTP页面。
然后将jdk-8u144-linux-x64.tar.gz拖拽到SFTP页面。

回到128主机上&＃xff0c;mkdir hd ,这里是创建一个hd文件&＃xff0c;为了将jdk-8u144-linux-x64.tar.gz解压到hd文件中。

然后输入解压命令&＃xff1a;tar -zxvf jdk-8u144-linux-x64.tar.gz -C /root/hd/

显示jdk-8u144-linux-x64.tar.gz上传成功&＃xff0c;文件夹hd创建成功&＃xff0c;并且hd文件夹中也有了jdk-8u144-linux-x64.tar.gz解压后的文件&＃xff0c;所以将原始压缩包删除&＃xff0c;节省资源。

删除命令&＃xff1a; rm -rf jdk-8u144-linux-x64.tar.gz

1.4&＃xff1a;配置环境变量

​ Linux配置java环境变量的目的与Windows相同&＃xff0c;是为了可以在任意目录下使用java。

​ 进入上面创建的hd文件夹中&＃xff0c;进行修改配置文件

查看jdk 所在的路径&＃xff1a;pwd

修改配置文件命令&＃xff1a;vi /etc/profile

在最后添加两行代码&＃xff1a; export JAVA_HOME&＃61;/root/hd/jdk1.8.0_144
export PATH&＃61;$PATH:$JAVA_HOME/bin

修改好之后&＃xff0c;注意&＃xff1a;一定要加载环境变量 source /etc/profile

在任意目录下&＃xff0c;输入java后&＃xff0c;能够显示信息&＃xff0c;表示环境变量已经加载成功。

1.5&＃xff1a;发送到另外两台机器

​ 当128&＃xff08;也就是hd9-01的机器&＃xff0c;因为主机名已经修改好&＃xff09;的环境变量加载完成之后&＃xff0c;其他两台&＃xff08;129,130&＃xff0c;分别对应主机名hd9-02,hd9-03&＃xff09;机器。

​ 同样在128的机器上&＃xff0c;用远程传输命令&＃xff0c;分别发送到另外两台。

​ 传输命令&＃xff1a;scp -r hd/jdk1.8.0_144/ hd09-02:/root/hd/
​

在129的机器上查看&＃xff1a;

可以看到&＃xff0c;虽然129机器之前没有hd文件夹&＃xff0c;但是远程传输之后会自动创建。

接着在回到128机器上&＃xff0c;将环境变量也发送到129的机器上

传输命令&＃xff1a;scp -r /etc/profile hd09-02:/etc

切换到129机器上&＃xff0c;查看是否传输成功&＃xff1a;

结果显示&＃xff0c;传输成功。同样&＃xff0c;130机器也是如此。

1.6&＃xff1a;免密登录设置

​ 在刚刚传输文件的过程中&＃xff0c;每次都需要输入登录密码&＃xff0c;有点麻烦&＃xff0c;此时&＃xff0c;可以设置免密登录。

免密登陆设置&＃xff1a;

• ssh-keygen
• ssh-copy-id 自己
• ssh-copy-id 其他
• ssh-copy-id 其他

再接着ssh到第二台机器hd9-02

再接着SSH到第三台机器

2&＃xff1a; 安装步骤总体大纲

装好一台虚拟机后&＃xff0c;先进行第一步&＃xff1a;配置静态ip&＃xff0c;

&＃xff08;1&＃xff09;
查看防火墙&＃xff1a;firewall-cmd --state
关闭防火墙&＃xff1a;systemctl stop firewalld
永久性关闭&＃xff1a;systemctl disable firewalld.service

查看当前IP: ip addr

修改IP配置&＃xff1a;vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
(主要是修改IP)

重启网卡&＃xff1a;service network restart

重新检查IP是否修改成功&＃xff1a;ip addr

注意&＃xff1a;一定是先重启网卡&＃xff0c;再检查IP是否正确&＃xff0c;否则显示的还是原始克隆后的IP地址

&＃xff08;2&＃xff09;将第一台已经配置成功的虚拟机克隆
同样进行以上操作。注意&＃xff0c;在进行修改IP配置时&＃xff0c;不能重复&＃xff0c;选择递增或者递减的ip&＃xff0c;后面的步骤一样

然后设置主机名&＃xff1a;
vi etc/hostname
然后直接输入要改的主机名&＃xff1a; hd09-01 (只需要输入一个对应的主机名就行)

三台机器都修改主机名后,需要重启Linux,否则不能生效
在secureCRT下重启&＃xff1a; 输入命令reboot &＃xff08;三台都需要重启&＃xff09;
然后secureCRT重新连接三台服务器&＃xff0c;查看主机名是否修改成功&＃xff1a;直接输入命令&＃xff1a;hostname

免密登陆设置&＃xff08;为了传输文件到别的主机而不需要输入密码&＃xff09;&＃xff1a;
在主机&＃xff08;192.168.152.128输入命令&＃xff1a;ssh-keygen
第一步在ssh自己&＃xff1a; ssh-copy-id hd09-01&＃xff08;hd09-01为ip192.168.152.128对应的主机名&＃xff09;
第二步ssh hd09-02的机器&＃xff1a;ssh-copy-id hd09-02
第三部ssh hd09-03的机器&＃xff1a;ssh-copy-id hd09-03

修改映射文件&＃xff1a;
命令&＃xff1a;vi /etc/hosts
在hd09-01&＃xff08;192.168.152.128&＃xff09;连接的scureCRT下&＃xff0c;根据服务器数量,修改成如下格式&＃xff1a;
192.168.152.128 hd-01
192.168.152.129 hd-02
192.168.152.130 hd-03

然后发送至hd09-02的主机上&＃xff1a;scp -r /etc/hosts 192.168.152.129:/etc/
再发送至hd09-03的主机上&＃xff1a;scp -r /etc/hosts 192.168.152.130:/etc/


安装JDK&＃xff1a;
在指定的主机上&＃xff08;hd09-01: 192.168.152.128&＃xff09;的根目录下&＃xff0c;先创建一个文件夹hd&＃xff0c;然后alt&＃43;p 再cd hd进入目录&＃xff0c;
上传完毕之后&＃xff0c;进入hd&＃xff0c;查看是否上传成功

修改环境变量&＃xff1a; vi /etc/profile
进入配置页面后&＃xff0c;在最后添加如下语句&＃xff1a;
export JAVA_HOME&＃61;/root/hd/jdk1.8.0_144 ---注意&＃xff0c;如果不知道jdk路径&＃xff0c;可以克隆当前会话&＃xff0c;进入jdk目录下&＃xff0c;输入pwd 然后复制到‘’JAVA_HOME&＃61; ‘’的后面
再添加到PATH路径下&＃xff1a;
export PATH&＃61;$PATH:$JAVA_HOME/bin


​ 退回根目录下&＃xff0c;然后加载环境变量&＃xff0c;输入命令&＃xff1a;
​ source /etc/profile

​ 在任意目录下输入&＃xff1a;java 没有报错证明修改成功

​ 然后再第二台机子上&＃xff0c;创建一个与第一台主机一样的目录&＃xff1a; mkdir hd

​ 然后在回到第一台主机中输入命令&＃xff1a;scp -r hd/jdk1.8.0_144/ hd09-02:hd/jdk1.8.0_144/
​ 再输入&＃xff1a;scp -r hd/jdk1.8.0_144/ hd09-03:hd/jdk1.8.0_144/
​ 然后在每台机子上输入java ,看是否报错

&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;
其实以上可以一步执行&＃xff1a;直接将主机hd传输到另外两台机子

​