hadoop2.9.0集群搭建
本文主要介绍hadoop2.9.0的搭建。
本文主要参考：
官网指南
centos7 关闭防火墙
centos7 yum 切换成阿里源
centos7 ntp 服务安装，局域网同步
linux 安装java 配置环境变量
好，下面开始上货。
1、安装三台linux,ip分别为192.168.0.61 192.168.0.62 192.168.0.63
2、根据指南分别配置好防火墙、ntp、java环境变量、ssh（
ssh-keygen -t rsa
ssh-copy-id
root@cdh2
）。
3、下载hadoop2.9.0
下载地址
4、创建hadoop用户
useradd hadoop
passwd hadoop
5、解压hadoop2.9.0到指定目录，这里我解压到/usr/local
6、修改hadoop2.9.0的权限
chown -R hadoop:hadoop /usr/local/hadoop2.9.0
7、这里需要说明一下，hadoop安装成功后应该有哪些服务启动：
HDFS daemons are NameNode, SecondaryNameNode, and DataNode.
YARN daemons are ResourceManager, NodeManager, and WebAppProxy.
8、修改配置文件，主要修改的配置文件如下：
hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves
hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_141
hadoop-core-site.xml
fs.defaultFS
hdfs://cdh1:9000
io.file.buffer.size
131072
hdfs-site.xml
dfs.namenode.name.dir
/data/hadoop/namenode
dfs.blocksize
268435456
dfs.namenode.handler.count
100
dfs.datanode.data.dir
/data/hadoop/dfs/data
mapred-site.xml
mapreduce.framework.name
yarn
masters
cdh2
cdh3
9、为了启动方便，我们需要添加环境变量
vim /etc/profile
HADOOP_PREFIX=/usr/local/hadoop-2.9.0
export HADOOP_PREFIX
HADOOP_CONF_DIR=/usr/local/hadoop-2.9.0/etc/hadoop
export HADOOP_CONF_DIR
HADOOP_YARN_HOME=/usr/local/hadoop-2.9.0
10、现在可以把文件夹和对应的权限复制到cdh2和cdh3上。
11、启动hdfs
注意：第一次启动需要初始化：
$HADOOP_PREFIX/bin/hdfs namenode -format
启动的时候可以分开启动，也可以一起启动。分开启动需要分别启动namenode和datanode。
分开：
$HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode
$HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode
同时：
$HADOOP_PREFIX/sbin/start-dfs.sh
12、停止hdfs
停止的时候可以分开停止，也可以同时停止。
分开：
$HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop namenode
$HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs stop datanode
同时：
$HADOOP_PREFIX/sbin/stop-dfs.sh
13、启动yarn
启动yarn的时候可以分开启动，也可以同时启动。分开启动分别启动ResourceManager和NodeManager。
分开：
$HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager
$HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR start nodemanager
$HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver
同时：
$HADOOP_PREFIX/sbin/start-yarn.sh
14、停止yarn
停止yarn的时候可以分开停止，也可以同时。
分开：
$HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop resourcemanager
$HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR stop nodemanager
同时：
$HADOOP_PREFIX/sbin/stop-yarn.sh
15、下面是默认的一些web-ui端口和截图
http://cdh1:50070
http://cdh1:8088/cluster
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有