热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

windows安装hadoop教程,带截图

本文主要介绍关于大数据,windows的知识点,对【windows安装hadoop教程,带截图】和【hadoop在windows上安装教程】有兴趣的朋友可以看下由【天宇_任】投稿的技术文章,希望该技术

本文主要介绍关于大数据,windows的知识点,对【windows安装hadoop教程,带截图】和【hadoop在windows上安装教程】有兴趣的朋友可以看下由【天宇_任】投稿的技术文章,希望该技术和经验能帮到你解决你所遇的hadoop相关技术问题。

hadoop在windows上安装教程

1:下载hadoop资源,链接:https://pan.baidu.com/s/19KVtjOCCwu9bEleRCWNGWA

 提取码:6666

2:解压hadoop资源,我是解压到D盘根目录

​​​​​​​

 3:配置系统变量和环境变量

变量名:HADOOP_HOME

变量值:D:\Hadoop\hadoop-2.7.7(根据个人解压目录填写

环境变量值:%HADOOP_HOME%\bin

 4:测试配置是否成功

打开cmd,输入hadoop,如果出现下图则配置成功

 5:将D:\Hadoop\hadoop-2.7.7\bin\hadoop.dll移动到D:\Hadoop\hadoop-2.7.7\sbin以及C:\Windows\System32这两个目录下。

 

 

6:创建目录
修改之前先创建以下几个空目录:
D:\Hadoop\hadoop-2.7.7\data
D:\Hadoop\hadoop-2.7.7\data\dfs
D:\Hadoop\hadoop-2.7.7\data\dfs\datanode
D:\Hadoop\hadoop-2.7.7\data\dfs\namenode
7:修改配置文件

1)D:\Hadoop\hadoop-2.7.7\etc\hadoop下的core-site.xml文件。

打开该文件,找到如下位置。


改为如下内容


   
    
    
     fs.defaultFS
     
    
     hdfs://localhost:9000
     
    
  

 2)D:\Hadoop\hadoop-2.7.7\etc\hadoop下的hdfs-site.xml文件。

 注意路径改为压缩后的路径


   
    
    
     dfs.replication
     
    
     1
     
    
    
    
     dfs.namenode.http-address
     
    
     localhost:50070
     
    
    
    
     dfs.namenode.dir
     
    
     /D:/Hadoop/hadoop-2.7.7/data/dfs/namenode
     
    
    
    
     dfs.datanode.name.dir
     
    
     /D:/Hadoop/hadoop-2.7.7/data/dfs/datanode
     
    
  

3)D:\Hadoop\hadoop-2.7.7\etc\hadoop下的mapred-site.xml.template文件。


   
    
    
     mapreduce.framework.name
     
    
     yarn
     
    
    
    
     mapred.job.tracker
     
    
     hdfs://localhost:9001
     
    
  

改完记得将mapred-site.xml.template改名为mapred-site.xml(我的是已经改完名字的)

4)D:\Hadoop\hadoop-2.7.7\etc\hadoop下的yarn-site.xml文件


   
    
    
    
     yarn.nodemanager.aux-services
     
    
     mapreduce_shuffle
     
    
    
    
     yarn.nodemanager.aux-services.mapreduce.shuffle.class
     
    
     org.apache.hadoop.mapred.ShuffleHandler
     
    
  

5)E:\Hadoop\hadoop-2.7.7\etc\hadoop下的hadoop-env.cmd文件

在文件的最后添加如下语句

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\Java1.8\jdk1.8.0_181

set JAVA_HOME=该机器的jdk环境变量

 8:格式化HDFS

 9:开启四个进程

管理员身份打开CMD,切换到D:\Hadoop\hadoop-2.7.7\sbin目录下,输入命令:start-all.cmd

如果cd D:\Hadoop\hadoop-2.7.7\sbin无法切换到sbin 可以使用如下命令 

 10:使用jps命令查看启动是否成功

11:测试Hadoop DFS 

打开浏览器,在地址栏输入http://localhost:50070查看Hadoop状态

​​​​​​​

 12:http://localhost:8088查看集群状态

13:结束。安装成功 

本文《windows安装hadoop教程,带截图》版权归天宇_任所有,引用windows安装hadoop教程,带截图需遵循CC 4.0 BY-SA版权协议。


推荐阅读
  • 一、Tomcat安装后本身提供了一个server,端口配置默认是8080,对应目录为:..\Tomcat8.0\webapps二、Tomcat8.0配置多个端口,其实也就是给T ... [详细]
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • 本文介绍了如何在 Spring Boot 项目中使用 spring-boot-starter-quartz 组件实现定时任务,并将 cron 表达式存储在数据库中,以便动态调整任务执行频率。 ... [详细]
  • Spring 中 Bean 信息定义的三种方法探讨
    本文详细探讨了 Spring 框架中实现 Bean 信息定义的三种方法:基于 XML 配置、基于注解配置和基于 Java 类配置。每种方法都有其适用场景和优缺点。 ... [详细]
  • 本文旨在解决 MySQL 无法连接到 localhost 的常见问题,并提供详细的步骤来确保 MySQL 服务正确启动和配置。 ... [详细]
  • Spring 切面配置中的切点表达式详解
    本文介绍了如何在Spring框架中使用AspectJ风格的切面配置,详细解释了切点表达式的语法和常见示例,帮助开发者更好地理解和应用Spring AOP。 ... [详细]
  • 本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件,并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]
  • php更新数据库字段的函数是,php更新数据库字段的函数是 ... [详细]
  • Hadoop平台警告解决:无法加载本机Hadoop库的全面应对方案
    本文探讨了在Hadoop平台上遇到“无法加载本机Hadoop库”警告的多种解决方案。首先,通过修改日志配置文件来忽略该警告,这一方法被证明是有效的。其次,尝试指定本地库的路径,但未能解决问题。接着,尝试不使用Hadoop本地库,同样没有效果。然后,通过替换现有的Hadoop本地库,成功解决了问题。最后,根据Hadoop的源代码自行编译本地库,也达到了预期的效果。以上方法适用于macOS系统。 ... [详细]
  • MySQL压缩包安装教程:轻松完成数据库环境搭建
    MySQL压缩包安装教程:轻松完成数据库环境搭建 ... [详细]
  • 在Ubuntu系统中安装Android SDK的详细步骤及解决“Failed to fetch URL https://dlssl.google.com/”错误的方法
    在Ubuntu 11.10 x64系统中安装Android SDK的详细步骤,包括配置环境变量和解决“Failed to fetch URL https://dlssl.google.com/”错误的方法。本文详细介绍了如何在该系统上顺利安装并配置Android SDK,确保开发环境的稳定性和高效性。此外,还提供了解决网络连接问题的实用技巧,帮助用户克服常见的安装障碍。 ... [详细]
  • 本文详细介绍了在Linux系统上编译安装MySQL 5.5源码的步骤。首先,通过Yum安装必要的依赖软件包,如GCC、GCC-C++等,确保编译环境的完备。接着,下载并解压MySQL 5.5的源码包,配置编译选项,进行编译和安装。最后,完成安装后,进行基本的配置和启动测试,确保MySQL服务正常运行。 ... [详细]
  • 在搭建Hadoop集群以处理大规模数据存储和频繁读取需求的过程中,经常会遇到各种配置难题。本文总结了作者在实际部署中遇到的典型问题,并提供了详细的解决方案,帮助读者避免常见的配置陷阱。通过这些经验分享,希望读者能够更加顺利地完成Hadoop集群的搭建和配置。 ... [详细]
  • 在Hive中合理配置Map和Reduce任务的数量对于优化不同场景下的性能至关重要。本文探讨了如何控制Hive任务中的Map数量,分析了当输入数据超过128MB时是否会自动拆分,以及Map数量是否越多越好的问题。通过实际案例和实验数据,本文提供了具体的配置建议,帮助用户在不同场景下实现最佳性能。 ... [详细]
author-avatar
mobiledu2502857683
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有