CentOS7搭建hadoop2.7伪分布式

一、下载hadoop

前往镜像地址下载

http://mirror.bit.edu.cn/apache/hadoop/common/

这里我选择下载2.7.5版本，下载编译过后的版本

Hadoop-2.7.5.tar.gz

二、下载完成后将安装包上传到系统目录中，我默认使用/opt/data/存放所有安装包

修改虚拟机hosts

使用命令vi /etc/hosts

添加映射

192.168.249.128 iflytek01

这里之所以添加映射，是为了配置环境以及集群修改环境方便

使用命令解压安装包

Tar –xzvf ‘压缩文件路径’ –C ‘需要存放的目录’

跳转到解压后的目录 这里使用/opt/app/存放解压后文件

打开/opt/apps/

配置hadoop环境变量

Cd 进入hadoop目录

Pwd查看hadoop的安装路径，这里安装路径就是/opt/apps/hadoop-2.7.5

复制该路径，使用命令打开 vi/etc/profile

在下方添加

HADOOP_HOME=/opt/apps/hadoop-2.7.5

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

环境变量配置完成

使用source /etc/profile刷新配置文件

Cd 进入/opt/apps/hadoop-2.7.5/etc/hadoop/目录下，可以看到配置文件，配置环境属性

首先我们打开hadoop-env.sh

Vim Hadoop-env.sh

         添加自己的java安装路径

修改core-site.xml

Vim core-site.xml或者通过其他工具修改

       fs.defaultFS

       hdfs://iflytek01:8020

       hadoop.tmp.dir

        /opt/apps/hadoop-2.7.5/data/tmp

       fs.trash.interval

       420

修改hdfs-site.xml

       dfs.namenode.secondary.http-address

       iflytek01:50090

修改mapred-site.xml

       mapreduce.framework.name

       yarn

        mapreduce.jobhistory.address

       iflytek01:10020

       mapreduce.jobhistory.webapp.address

        iflytek01:19888

修改slaves

Iflytek01

修改yarn-site.xml

       yarn.resourcemanager.hostname

       iflytek01

       yarn.nodemanager.aux-services

       mapreduce_shuffle

       yarn.log-aggregation-enable

       true

       yarn.log-aggregation.retain-seconds

       420

配置完成

接下来

配置免密码登陆

进入/root/.ssh

如果没有运行下方命令就有了

使用命令ssh-keygen

回车之后在/root/.ssh下会生成两个文件，

然后使用命令  ssh-copy-id ‘本机ip’ 输入密码免密码配置完成

这里我出现了错误

SSH 登录时出现如下错误：Permissiondenied, please try again

执行以下操作

Vi /etc/ssh/sshd_config

找到         PermitRootLogin

将后面设置为yes

service sshdrestart

然后重启服务

关闭防火墙(这是centos7的命令)

systemctl stopfirewalld.service 关闭防火墙

开始格式化 输入命令

hadoop namenode –format

格式化后start-all.sh      启动