热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

windows安装hadoop教程,带截图

本文主要介绍关于大数据,windows的知识点,对【windows安装hadoop教程,带截图】和【hadoop在windows上安装教程】有兴趣的朋友可以看下由【天宇_任】投稿的技术文章,希望该技术

本文主要介绍关于大数据,windows的知识点,对【windows安装hadoop教程,带截图】和【hadoop在windows上安装教程】有兴趣的朋友可以看下由【天宇_任】投稿的技术文章,希望该技术和经验能帮到你解决你所遇的hadoop相关技术问题。

hadoop在windows上安装教程

1:下载hadoop资源,链接:https://pan.baidu.com/s/19KVtjOCCwu9bEleRCWNGWA

 提取码:6666

2:解压hadoop资源,我是解压到D盘根目录

​​​​​​​

 3:配置系统变量和环境变量

变量名:HADOOP_HOME

变量值:D:\Hadoop\hadoop-2.7.7(根据个人解压目录填写

环境变量值:%HADOOP_HOME%\bin

 4:测试配置是否成功

打开cmd,输入hadoop,如果出现下图则配置成功

 5:将D:\Hadoop\hadoop-2.7.7\bin\hadoop.dll移动到D:\Hadoop\hadoop-2.7.7\sbin以及C:\Windows\System32这两个目录下。

 

 

6:创建目录
修改之前先创建以下几个空目录:
D:\Hadoop\hadoop-2.7.7\data
D:\Hadoop\hadoop-2.7.7\data\dfs
D:\Hadoop\hadoop-2.7.7\data\dfs\datanode
D:\Hadoop\hadoop-2.7.7\data\dfs\namenode
7:修改配置文件

1)D:\Hadoop\hadoop-2.7.7\etc\hadoop下的core-site.xml文件。

打开该文件,找到如下位置。


改为如下内容


   
    
    
     fs.defaultFS
     
    
     hdfs://localhost:9000
     
    
  

 2)D:\Hadoop\hadoop-2.7.7\etc\hadoop下的hdfs-site.xml文件。

 注意路径改为压缩后的路径


   
    
    
     dfs.replication
     
    
     1
     
    
    
    
     dfs.namenode.http-address
     
    
     localhost:50070
     
    
    
    
     dfs.namenode.dir
     
    
     /D:/Hadoop/hadoop-2.7.7/data/dfs/namenode
     
    
    
    
     dfs.datanode.name.dir
     
    
     /D:/Hadoop/hadoop-2.7.7/data/dfs/datanode
     
    
  

3)D:\Hadoop\hadoop-2.7.7\etc\hadoop下的mapred-site.xml.template文件。


   
    
    
     mapreduce.framework.name
     
    
     yarn
     
    
    
    
     mapred.job.tracker
     
    
     hdfs://localhost:9001
     
    
  

改完记得将mapred-site.xml.template改名为mapred-site.xml(我的是已经改完名字的)

4)D:\Hadoop\hadoop-2.7.7\etc\hadoop下的yarn-site.xml文件


   
    
    
    
     yarn.nodemanager.aux-services
     
    
     mapreduce_shuffle
     
    
    
    
     yarn.nodemanager.aux-services.mapreduce.shuffle.class
     
    
     org.apache.hadoop.mapred.ShuffleHandler
     
    
  

5)E:\Hadoop\hadoop-2.7.7\etc\hadoop下的hadoop-env.cmd文件

在文件的最后添加如下语句

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\Java1.8\jdk1.8.0_181

set JAVA_HOME=该机器的jdk环境变量

 8:格式化HDFS

 9:开启四个进程

管理员身份打开CMD,切换到D:\Hadoop\hadoop-2.7.7\sbin目录下,输入命令:start-all.cmd

如果cd D:\Hadoop\hadoop-2.7.7\sbin无法切换到sbin 可以使用如下命令 

 10:使用jps命令查看启动是否成功

11:测试Hadoop DFS 

打开浏览器,在地址栏输入http://localhost:50070查看Hadoop状态

​​​​​​​

 12:http://localhost:8088查看集群状态

13:结束。安装成功 

本文《windows安装hadoop教程,带截图》版权归天宇_任所有,引用windows安装hadoop教程,带截图需遵循CC 4.0 BY-SA版权协议。


推荐阅读
  •     这里使用自己编译的hadoop-2.7.0版本部署在windows上,记得几年前,部署hadoop需要借助于cygwin,还需要开启ssh服务,最近发现,原来不需要借助cy ... [详细]
  • HDFS2.x新特性
    一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ... [详细]
  • springboot启动不了_Spring Boot + MyBatis 多模块搭建教程
    作者:枫本非凡来源:www.cnblogs.comorzlinp9717399.html一、前言1、创建父工程最近公司项目准备开始重构,框 ... [详细]
  • Spring源码解密之默认标签的解析方式分析
    本文分析了Spring源码解密中默认标签的解析方式。通过对命名空间的判断,区分默认命名空间和自定义命名空间,并采用不同的解析方式。其中,bean标签的解析最为复杂和重要。 ... [详细]
  • 如何去除Win7快捷方式的箭头
    本文介绍了如何去除Win7快捷方式的箭头的方法,通过生成一个透明的ico图标并将其命名为Empty.ico,将图标复制到windows目录下,并导入注册表,即可去除箭头。这样做可以改善默认快捷方式的外观,提升桌面整洁度。 ... [详细]
  • 本文介绍了数据库的存储结构及其重要性,强调了关系数据库范例中将逻辑存储与物理存储分开的必要性。通过逻辑结构和物理结构的分离,可以实现对物理存储的重新组织和数据库的迁移,而应用程序不会察觉到任何更改。文章还展示了Oracle数据库的逻辑结构和物理结构,并介绍了表空间的概念和作用。 ... [详细]
  • Windows下配置PHP5.6的方法及注意事项
    本文介绍了在Windows系统下配置PHP5.6的步骤及注意事项,包括下载PHP5.6、解压并配置IIS、添加模块映射、测试等。同时提供了一些常见问题的解决方法,如下载缺失的msvcr110.dll文件等。通过本文的指导,读者可以轻松地在Windows系统下配置PHP5.6,并解决一些常见的配置问题。 ... [详细]
  • flowable工作流 流程变量_信也科技工作流平台的技术实践
    1背景随着公司业务发展及内部业务流程诉求的增长,目前信息化系统不能够很好满足期望,主要体现如下:目前OA流程引擎无法满足企业特定业务流程需求,且移动端体 ... [详细]
  • Go Cobra命令行工具入门教程
    本文介绍了Go语言实现的命令行工具Cobra的基本概念、安装方法和入门实践。Cobra被广泛应用于各种项目中,如Kubernetes、Hugo和Github CLI等。通过使用Cobra,我们可以快速创建命令行工具,适用于写测试脚本和各种服务的Admin CLI。文章还通过一个简单的demo演示了Cobra的使用方法。 ... [详细]
  • 本文介绍了如何使用C#制作Java+Mysql+Tomcat环境安装程序,实现一键式安装。通过将JDK、Mysql、Tomcat三者制作成一个安装包,解决了客户在安装软件时的复杂配置和繁琐问题,便于管理软件版本和系统集成。具体步骤包括配置JDK环境变量和安装Mysql服务,其中使用了MySQL Server 5.5社区版和my.ini文件。安装方法为通过命令行将目录转到mysql的bin目录下,执行mysqld --install MySQL5命令。 ... [详细]
  • iOS超签签名服务器搭建及其优劣势
    本文介绍了搭建iOS超签签名服务器的原因和优势,包括不掉签、用户可以直接安装不需要信任、体验好等。同时也提到了超签的劣势,即一个证书只能安装100个,成本较高。文章还详细介绍了超签的实现原理,包括用户请求服务器安装mobileconfig文件、服务器调用苹果接口添加udid等步骤。最后,还提到了生成mobileconfig文件和导出AppleWorldwideDeveloperRelationsCertificationAuthority证书的方法。 ... [详细]
  • 本文介绍了一种轻巧方便的工具——集算器,通过使用集算器可以将文本日志变成结构化数据,然后可以使用SQL式查询。集算器利用集算语言的优点,将日志内容结构化为数据表结构,SPL支持直接对结构化的文件进行SQL查询,不再需要安装配置第三方数据库软件。本文还详细介绍了具体的实施过程。 ... [详细]
  • 本文分析了Wince程序内存和存储内存的分布及作用。Wince内存包括系统内存、对象存储和程序内存,其中系统内存占用了一部分SDRAM,而剩下的30M为程序内存和存储内存。对象存储是嵌入式wince操作系统中的一个新概念,常用于消费电子设备中。此外,文章还介绍了主电源和后备电池在操作系统中的作用。 ... [详细]
  • 面试经验分享:华为面试四轮电话面试、一轮笔试、一轮主管视频面试、一轮hr视频面试
    最近有朋友去华为面试,面试经历包括四轮电话面试、一轮笔试、一轮主管视频面试、一轮hr视频面试。80%的人都在第一轮电话面试中失败,因为缺乏基础知识。面试问题涉及 ... [详细]
  • 如何搭建服务器环境php(2023年最新解答)
    导读:本篇文章编程笔记来给大家介绍有关如何搭建服务器环境php的相关内容,希望对大家有所帮助,一起来看看吧。本文目录一览:1、怎么搭建p ... [详细]
author-avatar
mobiledu2502857683
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有