hadoop3.1.4完全分布式环境搭建(

部署集群相关的包
https://pan.baidu.com/s/1uy5tM1lZ6owB3hw9jc7yug
提取码：w47b

1 关闭防火墙

1.1关闭防火墙

systemctl stop firewalld.service


1.2 禁止firewall开机启动

systemctl disable firewalld.service


1.3 查看防火墙状态

systemctl status firewalld


2 jdk和hadoop环境变量配置

2.1 上传包

使用相应的工具将Hadoop和jdk压缩包上传至虚拟机

2.2 将包移动到相应的位置

sudo mv hadoop-3.1.4-bin-snappy-CentOS7.tar.gz jdk-8u241-linux-x64.tar.gz /opt/software/


2.3 将包解压到相应的目录下

sudo tar -zxvf jdk-8u241-linux-x64.tar.gz -C /opt/module/
sudo tar -zxvf hadoop-3.1.4-bin-snappy-CentOS7.tar.gz -C /opt/module/


2.4 修改名称

sudo mv hadoop-3.1.4/ hadoop
sudo mv jdk1.8.0_241/ jdk


2.5 环境变量配置

sudo vim /etc/profile.d/my_env.sh


进入后在其中配置jdk和hadoop的环境变量

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin


source一下该目录，使环境变量生效

source /etc/profile


查看是否配置成功

java -version


3 hadoop文件配置

3.1 core-site.xml






fs.defaultFS
hdfs://master:8020



hadoop.tmp.dir
/opt/module/hadoop/data



hadoop.http.staticuser.user
zmj




3.2 hdfs-site.xml




dfs.namenode.http-address
master:9870



dfs.namenode.secondary.http-address
salve1:9868




3.3 yarn-site.xml





yarn.nodemanager.aux-services
mapreduce_shuffle



yarn.resourcemanager.hostname
salve2



yarn.nodemanager.env-whitelist
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME



yarn.log.server.url
http://master:19888/jobhistory/logs



yarn.log-aggregation.retain-seconds
604800




3.4 mapred-site.xml




mapreduce.framework.name
yarn



mapreduce.jobhistory.address
master:10020



mapreduce.jobhistory.webapp.address
master:19888




3.5 配置workers

master
salve1
salve2


4 克隆虚拟机

选择虚拟机，右键管理，选择克隆




克隆后，分别对虚拟机的IP地址和主机名及主机映射进行修改

su root
vim /etc/hostname
vim /etc/hosts


192.168.10.5 master
192.168.10.6 salve1
192.168.10.7 salve2


5 无密登录配置

输入三次回车之后形成如下

ssh-keygen -t rsa


进入.ssh目录

cd .ssh


将公钥拷贝至另外两台虚拟机

ssh-copy-id salve1
ssh-copy-id master


将该操作分别在每台虚拟上进行操作

6 集群启动

6.1 集群初始化

hdfs namenode -format


6.2 启动集群

./start-all.sh
jps


部署集群相关的包
提取码： g2y7