大数据Hadoop_大数据Hadoop第十一周——四台电脑的集群配置

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大数据Hadoop第十一周——四台电脑的集群配置相关的知识，希望对你有一定的参考价值。

大数据第十一周

1.物理集群的验证

• 开启本组所有电脑（4台），拷贝虚拟机映像，打开。在开启虚拟机之前，设置虚拟机内存是4G，处理器是4，网络连接是桥接模式。

?

也可以在图形界面配

?

• 把桥接网卡绑定到具体的物理网卡，不要使用自动绑定。


• 设置完成后，启动寻虚拟机。

?

2.设置网络连接

• 编辑网络配置文件：/etc/sysconfig/network-scripts/ifcfg-ens33。

?

• IP地址设置如下：(其中50要改成你自己的ip)

IPADDR=172.21.12.79（左1）

IPADDR=172.21.12.80（左2）

IPADDR=172.21.12.81（右2）

IPADDR=172.21.12.82（右1）

PREFIX=24

GATEWAY=172.21.12.254

DNS1=172.16.3.8

• 修改完成之后，输入systemctl restart network即可

?

3.设置hostname和域名解析

修改集群各个机器的名字和域名解析文件计算机名

sudo vi /etc/hostname

80 master

79 slave0

81 slave1

82 slave2

50 slave4

sudo vi /etc/hosts

172.21.12.80 master

172.21.12.79 slave0

172.21.12.81 slave1

172.21.12.82 slave2

172.21.12.50 slave4

?

4.关闭防火墙

• 检查防火墙状态：sudo systemctl status firewalld.service


• 关闭防火墙：sudo systemctl stop firewalld.service


• Disable防火墙：sudo systemctl disable firewalld.service


• 如果不执行Disable防火墙，下次启动时，防火墙还会启动。


• 重启三个节点，重启后，分别用sudo systemctl status firewalld.service命令检查所有节点的防火墙状态，要求看到inactive（dead）提示。

5.设置ssh免密登录

• 由于以前做过免密，所以会提示出错，看提示是否有修改错误的指令，如：删除~/.ssh文件后重做，命令：rm –r .ssh（ls –a查看隐藏文件）


• 先ssh 要登录的虚拟机，然后exit。


• 进入目录：cd .ssh/


• 产生密码：ssh-keygen -t rsa（只需要输入一次）


• 传送公钥：ssh-copy-id 要登陆的虚拟机名


• 验证：ssh 要登陆的虚拟机名


• 如果不需要密码就说明成功了。**如果在物理机集群上安装，需要安装时钟同步工具，保证每个节点的时钟相同。在虚拟机上安装不需要。**


• 我们有三个节点，所以每个虚机需要3个免密登录。


• 我们有三个节点，要传三个公钥，包括自己。

6.安装时钟同步

• 将时区设置为上海：sudo timedatectl set-timezone Asia/Shanghai


• 使用chrony，因为centos7已经内置chrony，所以只要配置就好。


• 选择一个本地时钟服务器，对于时钟服务器修改cd /etc sudo vi chrony.conf，要允许其他节点进行连接，


• 对于主节点：添加allow 172.21.12.0/24；


• 对于其他节点：删除已有的四行配置，添加server master iburst

?

• 时钟配置完成后检查，用命令：检查chronyc sources。除了主节点外，其它节点只会显示master。


• 服务开启命令：systemctl enable chronyd.service  和 systemctl start chronyd.service