热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

安装并配置Hadoop伪分布模式

首先进入Downloads文件夹,执行wget-cURL命令将Hadoop2.7下载到Downloads文件夹然后如上图,等下载完毕后查看Downloads文件夹中已经有hadoop-2.7.

首先进入Downloads文件夹,执行wget -c URL  命令将Hadoop2.7下载到Downloads文件夹


然后如上图,等下载完毕后查看Downloads文件夹中已经有hadoop-2.7.0.tar.gz

此时执行sudo tar zxvf hadoop-2.7.0.tar.gz -C /usr/local  将压缩包解压包了local文件夹下。

接着进入/usr/local,并查看hadoop文件夹存在


进入如下目录,修改被圈起来的两个文件:


将原始内容改为如下:


此时退出到hadoop文件夹下,再次进去到bin目录,执行hdfs  namenode -format,结果找不到命令如下图:


然后退回hadoop目录,执行bin/hdfs  namenode -format,结果显示找不到java路径,于是怀疑是jdk配置还未生效,输入exit退出。

如下图重新登录。

进入hadoop目录后执行之前的命名,根据箭头处显示,格式化namenode成功。


接下来执行 sbin/start-dfs.sh,开启节点,结果报错,如下

经分析原因是,虚拟机是32位,jdk32位,结果hadoop64位,于是找别人要到了重新编译的32位,并重新配置到上一步。网址:http://pan.baidu.com/s/1c0rW6Vu

于是继续执行sbin/start-dfs.sh


结果JAVA_HOME没问题的情况下显示找不到JAVA_HONE,于是发现需要在etc/hdoop/hadoop-env.sh 中设置JAVA_HOME如下


保存后,退回hadoop目录,执行sbin/start-dfs.sh


发现是权限问题(刚开始准备使用sudo管理员权限执行,但是不知道root用户的密码,所以采用:),于是将hadoop文件夹的权限分配给fujiaxiaoshao,如下:


成功分配权限后,

发现不能直接开启进程,需要重新格式化namenode,否则,namenode无法正常开启

于是重新格式化namenode,开启进程后发现datanode没有成功开启,查看datanode的日志,报错,百度,如下网址解决:

http://www.cnblogs.com/kinglau/p/3796274.html/usr/local/hadoop/tmp/dfs/name

重新开启后成功!


备注:需要学会看日志,日志提示报错内容。

远程查看:


另外需要对目录权限有所注意,把目录权限分配给特定用户。


SSH免密码登陆


 
推荐阅读
  • 在Java开发中,保护代码安全是一个重要的课题。由于Java字节码容易被反编译,因此使用代码混淆工具如ProGuard变得尤为重要。本文将详细介绍如何使用ProGuard进行代码混淆,以及其基本原理和常见问题。 ... [详细]
  • 在 Ubuntu 22.04 LTS 上部署 Jira 敏捷项目管理工具
    Jira 敏捷项目管理工具专为软件开发团队设计,旨在以高效、有序的方式管理项目、问题和任务。该工具提供了灵活且可定制的工作流程,能够根据项目需求进行调整。本文将详细介绍如何在 Ubuntu 22.04 LTS 上安装和配置 Jira。 ... [详细]
  • 在Ubuntu 18.04上使用Nginx搭建RTMP流媒体服务器
    本文详细介绍了如何在Ubuntu 18.04上使用Nginx和nginx-rtmp-module模块搭建RTMP流媒体服务器,包括环境搭建、配置文件修改和推流拉流操作。适用于需要搭建流媒体服务器的技术人员。 ... [详细]
  • 树莓派4B:安装基础操作系统指南
    本文将详细介绍如何为树莓派4B安装基础操作系统,包括所需材料、镜像下载、镜像烧录以及更换国内源等步骤。 ... [详细]
  • 2023年最新Linux环境下Android开发环境搭建指南
    2023年最新Linux环境下Android开发环境搭建指南,帮助Android开发者在Linux系统上快速搭建开发环境,解决常见的配置问题。 ... [详细]
  • Ubuntu 环境下配置 LAMP 服务器
    本文详细介绍了如何在 Ubuntu 系统上安装和配置 LAMP(Linux、Apache、MySQL 和 PHP)服务器。包括 Apache 的安装、PHP 的配置以及 MySQL 数据库的设置,确保读者能够顺利搭建完整的 Web 开发环境。 ... [详细]
  • 在开发板的启动选项中看到如下两行:7:LoadBootLoadercodethenwritetoFlashviaSerial.9:LoadBootLoadercodethenwri ... [详细]
  • 本文详细介绍了在 CentOS 系统中如何创建和管理 SWAP 分区,包括临时创建交换文件、永久性增加交换空间的方法,以及如何手动释放内存缓存。 ... [详细]
  • Node.js在服务器上的多种部署策略
    本文探讨了Node.js应用程序在服务器上部署的几种有效方法,包括使用Screen、PM2以及通过宝塔面板进行简易管理。 ... [详细]
  • 本文介绍了.hbs文件作为Ember.js项目中的视图层,类似于HTML文件的功能,并详细讲解了如何在Ember.js应用中集成Bootstrap框架及其相关组件的方法。 ... [详细]
  • 本文详细介绍了如何在 Ubuntu 16.04 系统上配置 Qt 5.5 的交叉编译环境,特别针对 i.MX6 平台进行了优化设置。内容涵盖从基本的软件安装到高级配置的全过程。 ... [详细]
  • 利用 Calcurse 在 Linux 终端高效管理日程与任务
    对于喜爱使用 Linux 终端进行日常操作的系统管理员来说,Calcurse 提供了一种强大的方式来管理日程安排、待办事项及会议。本文将详细介绍如何在 Linux 上安装和使用 Calcurse,帮助用户更有效地组织工作。 ... [详细]
  • Requests库的基本使用方法
    本文介绍了Python中Requests库的基础用法,包括如何安装、GET和POST请求的实现、如何处理Cookies和Headers,以及如何解析JSON响应。相比urllib库,Requests库提供了更为简洁高效的接口来处理HTTP请求。 ... [详细]
  • AcetoneISO:Ubuntu Linux下的全能虚拟光驱工具
    AcetoneISO 是一款功能强大的虚拟光驱软件,适用于 Linux 和 Mac 系统。它支持多种映像文件格式的挂载和转换,并提供丰富的文件管理功能。 ... [详细]
  • 本文详细介绍了在 Ubuntu 系统上安装和配置 MySQL、Tomcat 和 JDK 的步骤。通过本文,您将了解如何顺利安装这些组件,并确保它们能够正常协同工作。 ... [详细]
author-avatar
靠谱的留一手_267
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有