ubuntu18.04首次配置hadoop伪分布式以及出现的问题

1、搞明白单机、伪分布式和集群的区别

单机&＃xff1a;也称非分布式&＃xff0c;是直接读写本地操作系统的文件系统&＃xff0c;一般仅用于本地MR程序的调试。直接解压hadoop包就行&＃xff0c;无需配置。

伪分布式&＃xff1a;在一台单机上运行&＃xff0c;但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。在“单节点集群”上运行Hadoop&＃xff0c;其中所有的守护进程都运行在同一台机器上。能够访问本地操作系统文件和hdfs文件。

集群&＃xff1a;真正的分布式&＃xff0c;由3个及以上的实体机或者虚拟机组件的机群。

2、Hadoop配置教程

hadoop配置教程可以参考&＃xff1a;

      单机配置教程&＃xff1a;http://dblab.xmu.edu.cn/blog/install-hadoop/

      伪分布式配置教程&＃xff1a;http://dblab.xmu.edu.cn/blog/install-hadoop/

      集群配置教程&＃xff1a;http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

3、配置伪分布式需要修改的文件

  单机配置的话&＃xff0c;其实不需要修改hadoop里的配置文件&＃xff1b;

  伪分布式配置的话&＃xff0c;需要在core-site.xml和hdfs-site.xml中进行配置&＃xff0c;即向文件中添加如下图的内容&＃xff1a;

core-site.xml&＃xff1a;添加tmp文件夹

hdfs-site.xml&＃xff1a;在tmp文件夹中添加namenode和datanode的文件&＃xff0c;这里/tmp/dfs/name/放置了FSimage等信息。/tmp/dfs/data文件夹只有在启动hdfs后才有。

其实&＃xff0c;按照上述教程配置就可以了&＃xff0c;有详细的讲解&＃xff0c;本人在这里写是为了下面描述bug使用。

4、出现的问题

如果按照上述教程的流程进行配置&＃xff0c;肯定是没问题。本人按照这个教程进行配置为什么出现问题以及如何解决请看下面分析&＃xff1a;

&＃xff08;1&＃xff09;出现的问题&＃xff1a;在运行./bin/hdfs namenode -format&＃xff0c;报错&＃xff1a;Error: JAVA_HOME is not set and could not be found.

      解决方法&＃xff1a;

本人检查了一下.bashrc中JAVA_HOME变量设置没问题&＃xff0c;出现问题是在hadoop-env.sh中&＃xff0c;按照上图说的把${JAVA_HOME}改成jdk的安装位置就行。

&＃xff08;2&＃xff09;运行./sbin/start-dfs.sh报错&＃xff0c;如下图&＃xff0c;具体的报错信息可以查看hadoop里logs中的对应文件&＃xff0c;错误原因描述的很详细

namenode错误&＃xff1a;

datanode错误&＃xff1a;

进入hadoop里的tmp文件夹查看里面有/dfs/name&＃xff0c;所以namenode的错误应该是is not accessible。datanode为什么会出现问题&＃xff0c;本人推测可能是因为之前执行./bin/hdfs namenode -format时&＃xff0c;已经创建了/tmp/dfs/name文件夹&＃xff0c;而当时报了JAVA_HOME的问题&＃xff0c;所以如果在解决JAVA_HOME问题后不把/tmp文件夹删掉重新执行./bin/hdfs namenode -format&＃xff0c;而是执行./sbin/start-dfs.sh就会出现上述问题(分析方法&＃xff1a;成功启动dfs后逆向实践推理得到的)。

解决方法&＃xff1a;删掉/tmp文件夹&＃xff0c;重新执行./bin/hdfs namenode -format&＃xff0c;成功后&＃xff0c;再执行./sbin/start-dfs.sh。

5、yarn配置

参考&＃xff1a;http://dblab.xmu.edu.cn/blog/install-hadoop/

首先&＃xff0c;伪分布式不启动YARN也可以&＃xff0c;一般不影响程序执行。因为hadoop使用了新的MapReduce框架&＃xff08;MapReduce V2&＃xff0c;也称为 YARN&＃xff0c;Yet Another Resource Negotiator&＃xff09;&＃xff0c;所以启动hadoop后看不到JobTracker和TaskTracker。

YARN 是从 MapReduce 中分离出来的&＃xff0c;负责资源管理与任务调度。YARN 运行于 MapReduce 之上&＃xff0c;提供了高可用性、高扩展性。

上述通过start-dfs.sh启动hadoop&＃xff0c;仅仅启动了MapReduce环境&＃xff0c;这里启动YARN&＃xff0c;让YARN来负责资源管理和任务调度。

步骤如下&＃xff1a;

&＃xff08;1&＃xff09;修改配置文件mapred-site.xml&＃xff1a;

          a&＃xff09;重命名&＃xff1a;mv    mapred-site.xml.template    mapred-site.xml

          b&＃xff09;gedit mapred-site.xml

mapreduce.framework.nameyarn


          c&＃xff09;gedit  yarn-site.xml

yarn.nodemanager.aux-servicesmapreduce_shuffle


&＃xff08;2&＃xff09;启动YARN——需要先执行 ./start-dfs.sh

./sbin/start-yarn.sh # 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器&＃xff0c;才能在Web中查看任务运行情况

&＃xff08;3&＃xff09;运行后&＃xff0c;通过jps可以看到多了NodeManager 和 ResourceManager 后台进程。

&＃xff08;4&＃xff09;web查看&＃xff1a;https://localhost:8088/cluster

&＃xff08;5&＃xff09;关闭YARN。 

./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver

注意&＃xff1a;YARN主要为集群提供更好的资源管理与任务调度&＃xff0c;这在单机上体现不出价值&＃xff0c;

所以不启动YARN&＃xff0c;需要重命名 mapred-site.xml。如果不想启动 YARN&＃xff0c;务必把配置文件 mapred-site.xml 重命名&＃xff0c;改成 mapred-site.xml.template&＃xff0c;需要用时改回来就行。否则在该配置文件存在&＃xff0c;而未开启 YARN 的情况下&＃xff0c;运行程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误&＃xff0c;这也是为何该配置文件初始文件名为 mapred-site.xml.template。

6、HBASE配置

参考&＃xff1a;http://dblab.xmu.edu.cn/blog/install-hbase/

7、Hive安装

参考&＃xff1a;http://dblab.xmu.edu.cn/blog/install-hive/