(转)Hadoop1.2.1安装

环境：ubuntu13

使用的用户为普通用户。如：用户ru

jdk安装略

1、安装ssh

(1)

 (2)配置ssh面密码登录

 2、下载安装Hadoop

（1）下载hadoop-1.2.1-bin.tar.gz

（2）修改权限

如果拥有者不是root，使用

(3)解压

root用户下

 （4）将解压后的hadoop拷贝到安装目录

3、配置hadoop

配置文件在$HADOOP_HOME/conf下

 (1)配置hadoop-env.sh，指定jdk的安装路径

 （2）修改hadoop的核心配置文件core-site.xml，配置namenode的地址和端口

 

  

(3)修改hadoop的hdfs-site.xml，配置replication，即数据保存份数

 

 （4）修改hadoop的mapred-site.xml，配置jobtracker的地址和端口

 

 注：涉及到IP的地方如果是完全分布式集群，需要改成具体的IP

4、格式化hadoop的文件系统HDFS

5、启动hadoop

6、验证hadoop是否启动成功

 

• NameNode - http://localhost:50070/
• JobTracker - http://localhost:50030/

7、使用wordcount计算单词数

 

 

第二部分，安装hadoop集群：

1，准备2个服务器，分别为

机器名IP地址作用

hadoop.main192.168.1.102NameNode，JobTracker，DataNode，TaskTracker

hadoop.slave192.168.1.107DataNode，TaskTracker

 

注：2台主机必须使用相同的用户名运行hadoop

 

2，分别在这两个主机上，按照单机版的安装方法，安装hadoop

 

3，在/etc/hostname中修改主机名

   在/etc/hosts中配置主机名和IP地址度对应关系

 

   分别在2台主机中，运行以下命令：

   ping hadoop.main

   ping hadoop.slave

   修改/etc/hosts添加master和slave的ip和主机名

 

4，将hadoop.main节点中的~/.ssh/id_rsa.pub文件拷贝到hadoop.slave节点的~/.ssh目录下，然后在hadoop.slave的~/.ssh/目录下运行：

   cat ./id_rsa.pub >> authorized_keys

 

   在hadoop.main节点中运行命令: ssh hadoop.slave

 

5, 修改2台主机的core-site.xml，配置HDFS的地址和端口号

   vi conf/core-site.xml

 

   

   

       fs.default.name

       hdfs://hadoop.main:9000   

    

   

 

6,修改2台主机的MapReduce的配置文件，配置的是JobTracker的地址和端口 

   vi conf/mapred-site.xml

 

   

   

       mapred.job.tracker

       hadoop.main:9001

   

   

 

7，修改2台主机中的hadoop配置文件masters

   hadoop.main

 

8，修改2台主机中的hadoop配置文件slaves

   hadoop.main

   hadoop.slave

 

9，在haddop.main节点运行

   bin/hadoop namenode -format

 

10,启动hadoop

   bin/start-all.sh

 

 

 

ps: datanode time configuration

 heartbeat.recheck.interval

 15

 

参考：

http://blog.csdn.net/hxpjava1/article/details/20214049

http://www.linuxidc.com/Linux/2014-07/104312.htm