热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

安装并配置Hadoop伪分布模式

首先进入Downloads文件夹,执行wget-cURL命令将Hadoop2.7下载到Downloads文件夹然后如上图,等下载完毕后查看Downloads文件夹中已经有hadoop-2.7.

首先进入Downloads文件夹,执行wget -c URL  命令将Hadoop2.7下载到Downloads文件夹


然后如上图,等下载完毕后查看Downloads文件夹中已经有hadoop-2.7.0.tar.gz

此时执行sudo tar zxvf hadoop-2.7.0.tar.gz -C /usr/local  将压缩包解压包了local文件夹下。

接着进入/usr/local,并查看hadoop文件夹存在


进入如下目录,修改被圈起来的两个文件:


将原始内容改为如下:


此时退出到hadoop文件夹下,再次进去到bin目录,执行hdfs  namenode -format,结果找不到命令如下图:


然后退回hadoop目录,执行bin/hdfs  namenode -format,结果显示找不到java路径,于是怀疑是jdk配置还未生效,输入exit退出。

如下图重新登录。

进入hadoop目录后执行之前的命名,根据箭头处显示,格式化namenode成功。


接下来执行 sbin/start-dfs.sh,开启节点,结果报错,如下

经分析原因是,虚拟机是32位,jdk32位,结果hadoop64位,于是找别人要到了重新编译的32位,并重新配置到上一步。网址:http://pan.baidu.com/s/1c0rW6Vu

于是继续执行sbin/start-dfs.sh


结果JAVA_HOME没问题的情况下显示找不到JAVA_HONE,于是发现需要在etc/hdoop/hadoop-env.sh 中设置JAVA_HOME如下


保存后,退回hadoop目录,执行sbin/start-dfs.sh


发现是权限问题(刚开始准备使用sudo管理员权限执行,但是不知道root用户的密码,所以采用:),于是将hadoop文件夹的权限分配给fujiaxiaoshao,如下:


成功分配权限后,

发现不能直接开启进程,需要重新格式化namenode,否则,namenode无法正常开启

于是重新格式化namenode,开启进程后发现datanode没有成功开启,查看datanode的日志,报错,百度,如下网址解决:

http://www.cnblogs.com/kinglau/p/3796274.html/usr/local/hadoop/tmp/dfs/name

重新开启后成功!


备注:需要学会看日志,日志提示报错内容。

远程查看:


另外需要对目录权限有所注意,把目录权限分配给特定用户。


SSH免密码登陆


 
推荐阅读
  • 参考链接:http:blog.csdn.nethh5945articledetails51014705本文记录opencv3.1及其contrib模块在ubuntu ... [详细]
  • 1、软件包下载:下载地址:   https:github.comceres-solverceres-solverreleases  如果Github下载速度慢可在百度云盘下载下载地 ... [详细]
  • Hadoop——实验七:MapReduce编程实践
    文章目录一.实验目的二.实验内容三.实验步骤及结果分析 1.基于ubuntukylin14.04(7)版本,安装hadoop-eclipse-kepler-plugi ... [详细]
  • Clutter是一个支持2D界面的3D动画的UI库。Moblin使用Clutter创建美观、有效和直观的用户界面,您的程序也能做到。Clutter及其相关项目是Mob ... [详细]
  • 小度Wifi、360WifiWindows、linux驱动小度wifi什么的就是一个无线网卡,当然可以自由使用,然官方却说不支持无限网卡功能…现提供Windows平台和linux平 ... [详细]
  • 安装hadoop2.9.2jdk1.8centos7
    安装JDK1.8查看JDK1.8的安装https:www.cnblogs.comTJ21p13208514.html安装hadoop上传hadoop下载hadoop地址http:m ... [详细]
  • 使用curl命令安装#进入usrlocalcdusrlocal#下载sudocurl-Ohttps:fastdl.mongodb.orgosxmongodb-osx-x86_64- ... [详细]
  • 客户端服务:(只能针对master,不能针对volume)1)获取一个自动分配的id,唯一的文件标示(如果开始没有vol ... [详细]
  • 二、集成开发环境的重要特性本章描述了Eclipse中的几个重要特性和一个对开发安卓应用有用的 ... [详细]
  • UbuntuLinux中连接Android真机调试,Go语言社区,Golang程序员人脉社 ... [详细]
  • Linux中gcc的编译、静态库和动态库的制作
    欢迎大家关注笔者,你的关注是我持续更博的最大动力Linux中gcc的编译、静态库、动态库文章目录:1gcc的编译过程1.1gcc的编译过程1.2gcc的 ... [详细]
  • 如何提高工程编译速度
    点击上方蓝字可直接关注!方便下次阅读。如果对你有帮助,麻烦点个在看或点个赞,感谢~     文章首发  公众号——Pou光明公众号还在维护,大家莫慌~LinuxQt平台为例测试编译 ... [详细]
  • repo下载与安装步聚1,repo是基于git基础开发,便于git资源管理的一个工具,所以在安装repo之前我们先要安装gitsudo ... [详细]
  • 一步一步打造jenkins+docker+nodejs项目的自动部署环境
    一步一步打造jenkins+docker+nodejs项目的自动部署环境介绍jenkins+docker+nodejs自动部署亮点采用shell自定义脚本,控制集成部署环境更加方便 ... [详细]
  • #学习pyqt示例观赏1##哪里找到示例-windows下,个人采用安装包直接安装,(顺便推荐个网址,pythoner一定会喜欢http:www.lfd.uci.edu~gohl ... [详细]
author-avatar
靠谱的留一手_267
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有