ubuntu16.04+Java8+hadoop2.x单机安装

关于hadoop及相关模块的安装&＃xff0c;自己下载模块安装的话较为麻烦&＃xff0c;有配置、版本对应的些许问题&＃xff0c;使用cloudera集成好的平台也不错&＃xff0c;但如果跑的任务多的话&＃xff0c;机器配置要好一点&＃xff0c;模糊的记得是最低需要8G内存&＃xff1f;下面先记录下单机模式的安装。

hadoop集群有三种启动模式&＃xff1a;

• 单机模式&＃xff1a;默认情况下运行为一个单独机器上的独立Java进程&＃xff0c;主要用于调试环境
• 伪分布模式&＃xff1a;再单个机器上模拟成分布式环境&＃xff0c;每一个hadoop守护进程都作为一个独立的java进程运行
• 完全分布式模式&＃xff1a;真实的环境&＃xff0c;一般公司用到。

搭建步骤&＃xff1a;

1、添加用户及用户组&＃xff08;提示输入密码&＃xff0c;自己输入&＃xff09;

sudo adduser hadoop(自己输入自己想用的&＃xff0c;在这使用hadoop)

将该用户添加进sudo用户组

sudo usermod -G sudo hadoop

2、安装jdk

java -version
echo $JAVA_HOME

首先可以使用上面两句先检查自己的ubuntu有没有安装jdk&＃xff0c;没有的话安装一下。注意自己linux的版本&＃xff0c;可以使用uname -a来检查操作系统的版本。JDK下载地址&＃xff1a;

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载完毕后&＃xff0c;在/usr&＃xff08;可自选自己习惯的放的目录&＃xff09;目录下创建java文件夹&＃xff0c;将压缩包解压至此处。

sudo mkdir /usr/java
tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java/

解压完毕后&＃xff0c;配置环境变量

vim ~/.bashrc
#在文件底部添加以下
export JAVA_HOME&＃61;/usr/java/jdk1.8.0_171
export CLASSPATH&＃61;.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH&＃61;$JAVA_HOME/bin:$PATH

完成后激活更改的环境变量&＃xff1a;

source ~/.bashrc

之后便可以使用java -version 查看java是否安装成功。

3、安装ssh&＃xff0c;并设置免密登录

因为Hadoop需要使用ssh进行通信&＃xff0c;所以我们需要在我们的操作系统上安装ssh。在安装之前&＃xff0c;我们需要查看系统是否已经安装并且启动了ssh。

#查看ssh安装包情况
dpkg -l | grep ssh #查看是否启动ssh服务
ps -e | grep ssh

如果没有ssh服务&＃xff0c;则可以使用下一句来安装ssh。

$ sudo apt-get install openssh-server

安装完成&＃xff0c;开启服务。

$ sudo /etc/init.d/ssh start

ssh作为一个安全通信协议&＃xff0c;自然就需要通信的时候输入密码&＃xff0c;所以我们将设置免密码登录。

在/home/hadoop目录下执行

#生成秘钥
ssh-keygen -t rsa #一直按回车就好
#导入authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 600 .ssh/authorized_keys
验证登录本机是否还需要密码&＃xff0c;第一次需要密码以后不需要密码就可以登录。

$ ssh localhost #只需输入一次hadoop用户密码&＃xff0c;之后不需要输入

至此&＃xff0c;准备工作基本完成了。

4、下载安装Hadoop

下载地址&＃xff1a;http://hadoop.apache.org/releases.html

https://mirrors.cnnic.cn/apache/hadoop/common/

可以找相应的版本进行下载&＃xff0c;下载速度是有点慢&＃xff0c;也可以使用下面方法&＃xff08;下载目录是当前目录&＃xff0c;下载完毕后自行查看&＃xff09;

$ wget http://labfile.oss.aliyuncs.com/hadoop-2.6.0.tar.gz

解压安装&＃xff1a;&＃xff08;路径为hadoop用户目录的hadoop-2.6.0目录下&＃xff09;

$ tar zxvf hadoop-2.6.0.tar.gz
$ mv hadoop-2.6.0 /home/hadoop/hadoop-2.6.0
$ chmod 777 /home/hadoop/hadoop-2.6.0

配置Hadoop

$ vi /home/hadoop/.bashrc

在/home/hadoop/.bashrc文件末尾添加以下内容&＃xff1a;

export HADOOP_HOME&＃61;/home/hadoop/hadoop-2.6.0
export JAVA_HOME&＃61;/usr/java/jdk1.8.0_171
export PATH&＃61;/usr/local/sbin:/usr/local/bin/:/usr/bin:/usr/sbin:/sbin:/bin:/home/hadoop/hadoop-2.6.0/bin:/home/hadoop/hadoop-2.6.0/sbin

如果改了相应java和hadoop的安装文件目录&＃xff0c;对应的路径更改就好。

完成添加后&＃xff0c;激活新加的环境变量&＃xff1b;

source ~/.bashrc

至此&＃xff0c;单机模式的安装就完成了&＃xff0c;验证单机模式安装成功&＃xff0c;使用

hadoop version显示hadoop版本后&＃xff0c;说明已经安装配置完成。









5、下面用单词统计来验证一下。

先创建一个空白文档&＃xff0c;在里面随意输入一些词语&＃xff0c;之后再/home/hadoop/hadoop-2.6.0目录下创建一个提供数据的文档&＃xff0c;进行mapreduce是map方法在此处读取要统计单词的文档&＃xff0c;创建好之后将数据文档复制到此处。命令行如下&＃xff1a;

cd /home/hadoop/hadoop-2.6.0
mkdir hgg #我创建的文件夹
cp /home/hcx/Desktop/test ./hgg #test测试文档

执行hadoop wordcount应用&＃xff08;词频统计&＃xff09;

$ hadoop jar /home/hadoop/hadoop-2.6.0/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount hgg hggoutput

查看生成的结果&＃xff0c;在上述命令行中指定的hggoutput文件夹中&＃xff0c;可以使用

cat /hggoutput/*查看结果。统计词频成功。