Hadoop学习CentOS中hadoop伪分布式集群安装

注意：此次搭建是在ssh无密码配置、jdk环境已经配置好的情况下进行的

可以参考： Hadoop完全分布式安装教程

CentOS环境下搭建hadoop伪分布式集群

1.更改主机名

执行命令：vi  /etc/sysconfig/network

2.设置hosts中ip与主机名的绑定

执行命令 vi  /etc/hosts

在里面添加选项设置你的主机名与ip的对应关系

3.安装hadoop

执行命令,将压缩包解压到/usr/local/hadoop文件夹下

tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local/hadoop

4.进入hadoop安装目录，进入etc/hadoop目录下

修改etc/hadoop目录下的几个文件：

1).core-site.xml

fs.defaultFS
hdfs://hadoop1:8020


hadoop.tmp.dir
/usr/local/hadoop/tmp


io.file.buffer.size
131702

2).hdfs-site.xml

dfs.replication
1


dfs.namenode.name.dir
/usr/local/hadoop/hdfs/name


dfs.datanode.data.dir
/usr/local/hadoop/hdfs/data


dfs.namenode.secondary.http-address
hadoop1:9001


dfs.webhdfs.enabled
true

3).mapred-site.xml

mapreduce.framework.name
yarn


mapreduce.jobhistory.address
hadoop1:10020


mapreduce.jobhistory.webapp.address
hadoop1:19888

4)yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle

5.设置hadoop-env.sh和yarn-env.sh的JAVA_HOME

  export JAVA_HOME=/root/software/jdk1.7.0_79

6.修改slaves文件,将hadoop集群主机名称添加进去

7.修改环境变量：vi /etc/profile

hadoop namenode -format

1)初始化，输入命令，bin/hadoop namenode -format

(2)全部启动sbin/start-all.sh，

报错及解决办法：

1).启动hadoop是报如下错：

解决办法是直接在log4j日志中去除告警信息：

在//usr/local/hadoop-2.5.2/etc/hadoop/log4j.properties文件中添加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR  

参考网址：http://blog.csdn.net/l1028386804/article/details/51538611