Hadoop1.0.4伪分布式安装

前言&＃xff1a;

目前&＃xff0c;学习hadoop的目的是想配合其它两个开源软件Hbase(一种NoSQL数据库)和Nutch&＃xff08;开源版的搜索引擎&＃xff09;来搭建一个知识问答系统&＃xff0c;Nutch从指定网站爬取数据存储在Hbase数据库的表中&＃xff0c;而Hbase运行在Hadoop之上。

学习Hadoop已有数月&＃xff0c;想把自己的积累晒出来&＃xff0c;一者温故知新&＃xff0c;二者与大家分享。写文章挺费时间的&＃xff0c;所以文风尽量简洁。若欲了解细节可发帖讨论&＃xff0c;交个朋友。

水平有限&＃xff0c;还望指正&＃xff01;

一、使用环境

操作系统&＃xff1a;Ubuntu12.04

Hadoop版本&＃xff1a;1.0.4

二、Hadoop官网安装手册

单机安装分为“standalone”和“pseudo-distributed”两种模式&＃xff0c;我使用的是伪分布式模式。

手册的安装步骤很详细&＃xff0c;没有必要当翻译工了。但是手册为了通用性&＃xff0c;牺牲了一些关键问题的讨论。第三节中提及一下。

三、手册缺陷

手册主要有两个问题没有说清楚&＃xff1a;

1.Hadoop安装在哪个目录下好&＃xff1f;

选择一般有两种&＃xff1a;/usr/local和家目录下。我选择安装在家目录下&＃xff0c;因为开始玩hadoop的时候&＃xff0c;这样避免了权限的麻烦&＃xff1b;如果要部署应用的话&＃xff0c;应该安装在/usr/local。

2.配置文件的问题

这是安装hadoop最重要的步骤。所有配置文件均在${HADOOP_HOME}/conf目录下。

如果完全按照手册配置&＃xff0c;你的hadoop可能经常遇到NameNode或DataNode启动不起来的情况。配置文件的不同主要在core-site.xml.

 手册配置如下&＃xff1a;

 

fs.default.namehdfs://localhost:9000
我的配置如下&＃xff1a;

 

  7      
  8          fs.default.name
  9          hdfs://localhost:8020
 10      
 11 
 12        
 13         hadoop.tmp.dir  
 14         /home/zhengeek/hadoop-tmp  
 15         A base for other temporary directories.  
 16        
 17       

有两处不同&＃xff1a;

1.9000和8020这两个端口都可以&＃xff0c;只要没有被占用。

2.最容易出问题的地方就在这里。比如这个哥们遇到的问题。

      hadoop运行起来&＃xff0c;hdfs和mapreduce有许多数据需要保存。这可以通过dfs.name.dir 和 dfs.data.dir设置。如果没有设置&＃xff0c;那么数据就会默认存放在/tmp目录下&＃xff0c;如果机器重启&＃xff0c;tmp目录下的数据就会丢失&＃xff0c;namenode自然启动不起来了。

      如果设置了hadoop.tmp.dir&＃xff0c;那么这些数据就会默认存放在改目录下。

       有关hadoop.tmp.dir设置的讨论。

四、启动hadoop

       1.格式化hdfs

       $bin/hadoop namenode -format

       2.启动hdfs

       $bin/start-all.sh

      3.检查是否成功

       $jps

       若成功&＃xff0c;会看到namenode,secondarynamenode,datanode,jobtracker和tasktracker五个进程。

如有问题&＃xff0c;欢迎联系我哦。