热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

10分钟搞定Windows环境下hadoop安装和配置

Hadoop是大数据的核心武器,下面来介绍在Windows环境下Hadoop的安装和配置1.下载Hadoophttp:www.apache.orgdyncloser.cgiha

Hadoop是大数据的核心武器,下面来介绍在Windows环境下Hadoop的安装和配置

1.下载Hadoop
http://www.apache.org/dyn/closer.cgi/hadoop/common
2.解压
hadoop-2.7.3.tar.gz 点右键“解压到hadoop-2.7.3”
文件夹路径 xxx/xxxx/hadoop-2.7.3
复制hadoop-2.7.3文件夹到 d盘 或者 e盘 的根目录 (在这里我安装到了E盘)
3.原版的Hadoop不支持Windows系统,我们需要修改一些配置方便在Windows上运行
所需文件hadooponwindows-master.zip 解压
复制解压开的bin文件和etc文件到hadoop-2.7.3文件中,并替换原有的bin和etc文件
4.配置Hadoop的环境变量
配置Java环境变量
新建变量名:JAVA_HOME
输入路径:D:\Softwares\jdk1.8 (这里是以我的jdk地址为例,请根据自己的jdk地址来设置)
在path中最前面加上:%JAVA_HOME%\bin;
配置Hadoop环境变量
新建变量名:HADOOP_HOME
输入路径:E:\hadoop-2.7.3
在path中最前面加上:%HADOOP_HOME%\bin;
5.确认hadoop配置的jdk的路径
在hadoop-2.7.3\etc\hadoop找到hadoop-env.cmd
右键用一个文本编辑器打开
找到 set JAVA_HOME=C:\PROGRA~1\Java\jdk1.7.0_67
将C:\PROGRA~1\Java\jdk1.7.0_67 改为 D:\Softwares\jdk1.8(在环境变量设置中JAVA_HOME的值)
(如果路径中有“Program Files”,则将Program Files改为 PROGRA~1

6.配置好上面所有操作后,win+R 输入cmd打开命令提示符,然后输入hadoop version,按回车,如果出现如图所示结果,则说明安装成功

7.hadoop核心配置文件
在hadoop-2.7.3\etc\hadoop中找到以下几个文件
打开   hadoop-2.7.3/etc/hadoop/core-site.xml , 复制下面内容粘贴到最后并保存
      
fs.defaultFS       
hdfs://localhost:9000   
打开   hadoop-2.7.3/etc/hadoop/mapred-site.xml , 复制下面内容粘贴到最后并保存
  
      
mapreduce.framework.name       
yarn   
打开   hadoop-2.7.3/etc/hadoop/hdfs-site.xml , 复制下面内容粘贴到最后并保存 , 请注意需要建立 data   文件夹和两个子文件夹,本例子是建立在   HADOOP_HOME 的目录里 (注意每个人的hadoop的路径不一样,这里要做修改)
      
dfs.replication       
1   
  
      
dfs.namenode.name.dir       
/E:/hadoop-2.7.3/namenode   
  
      
dfs.datanode.data.dir     
/E:/hadoop-2.7.3/datanode   
打开   hadoop-2.7.3/etc/hadoop/yarn-site.xml , 复制下面内容粘贴到最后并保存
  
      
yarn.nodemanager.aux-services       
mapreduce_shuffle   
  
      
yarn.nodemanager.aux-services.mapreduce.shuffle.class       
org.apache.hadoop.mapred.ShuffleHandler   

8.启动Hadoop服务
创建三个文件夹
E:/hadoop-2.7.3/tmp
E:/hadoop-2.7.3/namenode
E:/hadoop-2.7.3/datanode
格式化 HDFS
以管理员身份打开命令提示符
输入hdfs namenode -format 执行到如下图所示
      
格式化之后,namenode文件里会自动生成一个current文件,则格式化成功。

然后转到Hadoop-2.7.3\sbin文件下

输入start-all.cmd,启动hadoop服务

输入 JPS –  可以查看运行的所有服务   ( 前提是 java 路径设置正确 )
按照以上操作,在Windows环境下的Hadoop就安全安装好了。





推荐阅读
  • 在 Ubuntu 22.04 LTS 上部署 Jira 敏捷项目管理工具
    Jira 敏捷项目管理工具专为软件开发团队设计,旨在以高效、有序的方式管理项目、问题和任务。该工具提供了灵活且可定制的工作流程,能够根据项目需求进行调整。本文将详细介绍如何在 Ubuntu 22.04 LTS 上安装和配置 Jira。 ... [详细]
  • Maven + Spring + MyBatis + MySQL 环境搭建与实例解析
    本文详细介绍如何使用MySQL数据库进行环境搭建,包括创建数据库表并插入示例数据。随后,逐步指导如何配置Maven项目,整合Spring框架与MyBatis,实现高效的数据访问。 ... [详细]
  • 回顾两年前春节期间的一个个人项目,该项目原本计划参加竞赛,但最终作为练习项目完成。独自完成了从编码到UI设计的全部工作,尽管代码量不大,但仍有一定的参考价值。本文将详细介绍该项目的背景、功能及技术实现。 ... [详细]
  • 在Java开发中,保护代码安全是一个重要的课题。由于Java字节码容易被反编译,因此使用代码混淆工具如ProGuard变得尤为重要。本文将详细介绍如何使用ProGuard进行代码混淆,以及其基本原理和常见问题。 ... [详细]
  • 本文详细介绍了在 CentOS 系统中如何创建和管理 SWAP 分区,包括临时创建交换文件、永久性增加交换空间的方法,以及如何手动释放内存缓存。 ... [详细]
  • 本文介绍了SIP(Session Initiation Protocol,会话发起协议)的基本概念、功能、消息格式及其实现机制。SIP是一种在IP网络上用于建立、管理和终止多媒体通信会话的应用层协议。 ... [详细]
  • 二维码的实现与应用
    本文介绍了二维码的基本概念、分类及其优缺点,并详细描述了如何使用Java编程语言结合第三方库(如ZXing和qrcode.jar)来实现二维码的生成与解析。 ... [详细]
  • publicclassBindActionextendsActionSupport{privateStringproString;privateStringcitString; ... [详细]
  • 一、Advice执行顺序二、Advice在同一个Aspect中三、Advice在不同的Aspect中一、Advice执行顺序如果多个Advice和同一个JointPoint连接& ... [详细]
  • Requests库的基本使用方法
    本文介绍了Python中Requests库的基础用法,包括如何安装、GET和POST请求的实现、如何处理Cookies和Headers,以及如何解析JSON响应。相比urllib库,Requests库提供了更为简洁高效的接口来处理HTTP请求。 ... [详细]
  • CentOS下ProFTPD的安装与配置指南
    本文详细介绍在CentOS操作系统上安装和配置ProFTPD服务的方法,包括基本配置、安全设置及高级功能的启用。 ... [详细]
  • 本文详细介绍了如何正确设置Shadowsocks公共代理,包括调整超时设置、检查系统限制、防止滥用及遵守DMCA法规等关键步骤。 ... [详细]
  • 如何在PHP中安装Xdebug扩展
    本文介绍了如何从PECL下载并编译安装Xdebug扩展,以及如何配置PHP和PHPStorm以启用调试功能。 ... [详细]
  • importjava.io.*;importjava.util.*;publicclass五子棋游戏{staticintm1;staticintn1;staticfinalintS ... [详细]
  • IO流——字符流 BufferedReader / BufferedWriter 进行文件读写
    目录节点流、处理流读文件:BufferedReader的使用写文件:BufferedWriter的使用节点流处理流节点流和处理流的区别和联系字符流Buf ... [详细]
author-avatar
陈民翔芷昌柏淑
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有