热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

hadoop2.7.3在windows环境下安装(无需Cygwin)

最新已更新至2.8.0最近折腾文件系统,用到了hadoop,虽然项目是部署在Linux下的。但自己平时开发用的是windows系统(本人用的是win1064bit)。为了方便开发和

最新已更新至2.8.0


最近折腾文件系统,用到了hadoop,虽然项目是部署在Linux下的。但自己平时开发用的是windows系统(本人用的是win10 64bit)。为了方便开发和调试,所以打算在windows环境下安装hadoop。 

       往上找了几篇文章,都说得不是很详细。安装过程中遇到了一些问题,索性自己折腾了一番,终于搞好了。

准备条件:

首先需要下载 hadoop的tar.gz包,目前最新版本是2.7.3 下载地址:http://hadoop.apache.org/releases.html

然后确保操作系统是64bit,已安装.netframework,要4.0以上版本,一般现在的windows系统都有自带的。

第三是配置好java环境,至于java环境的配置这里不介绍,百度一下就知道了。我这里用的是JDK1.7.80。

重点:因为是在windows下面安装的,跟Linux下不一样,所以我们需要windows下运行的链接库。这个库我已经基本配置好,直接覆盖就可以使用了。除了JDK路径,一般不需要改其他东西。

          下载地址:http://download.csdn.net/detail/kokjuis/9706480

开始:

确保上述的条件以后,我们开始来安装hadoop。

1)解压下载好的 hadoop-2.7.3.tar.gz  到某个盘***意路径里不要带空格,否则可能会无法正确识别。

2)解压hadooponwindows-master.zip,直接覆盖到hadoop-2.7.3根目录。

3)配置hadoop环境变量(跟配置JAVA环境变量类似)。 创建HADOOP_HOME,另外在Path下添加 %HADOOP_HOME%\bin

hadoop-2.7.3 在windows环境下安装(无需Cygwin)

hadoop-2.7.3 在windows环境下安装(无需Cygwin)

4)到hadoop根目录,如果没有data文件夹的话就新建一个,然后在data下分别创建datanode、namenode两个文件夹

hadoop-2.7.3 在windows环境下安装(无需Cygwin)

5)用记事本打开 \hadoop-2.7.3\etc\hadoop\hadoop-env.cmd文件,修改JAVA_HOME为你自己jdk路径。注意:如果你的JDK安装在Program Files目录下,名称用\PROGRA~1\Java 否则中间的空格可能会识别失败。

hadoop-2.7.3 在windows环境下安装(无需Cygwin)

到这里,配置基本已经完成,如果你想改访问路径,可以到etc/hadoop目录下的core-site.xml文件修改:

[html] view plain copy
  1. <configuration>    
  2.   <property>    
  3.     <name>fs.default.namename>    
  4.     <value>hdfs://localhost:9000value>    
  5.   property>    
  6. configuration>   



最后,点击命令提示符(管理员)运行命令提示符,切换到hadoop的安装目录。进行以下操作


1、切换到etc/hadoop目录,运行hadoop-env.cmd

2、格式化HDFS文件系统,切换到bin目录然后执行命令:hdfs namenode -format


到这里,你的hadoop就可以正常使用了。可以查看一下版本 hadoop version


hadoop-2.7.3 在windows环境下安装(无需Cygwin)



启动:

切换到 sbin目录 执行:start-dfs.cmd 


查看hadoop管理页面:http://localhost:50070


推荐阅读
  • hadoop完全分布式搭建
    原文链接:hadoop完全分布式搭建主机分配以及地址要求:角色主机名IP地址Namenodemaster192.168.222.201Datanodeslave ... [详细]
  •        在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下:       1、CentOS6.7下安装JDK,地址:http:b ... [详细]
  • 导读:今天编程笔记来给各位分享关于php动态扩展怎么加载的相关内容,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!本文目录一览: ... [详细]
  •     这里使用自己编译的hadoop-2.7.0版本部署在windows上,记得几年前,部署hadoop需要借助于cygwin,还需要开启ssh服务,最近发现,原来不需要借助cy ... [详细]
  • Hadoop源码解析1Hadoop工程包架构解析
    1 Hadoop中各工程包依赖简述   Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。   GoogleCluster:ht ... [详细]
  • MR程序的几种提交运行模式本地模型运行1在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行-- ... [详细]
  • XShell连接不了虚拟机
    本机安装好虚拟机和centeros;使用xshell连接:linuxCouldnotconnectto&amp;#39;127.0.0.1&amp;#39;(por ... [详细]
  • python基础(二、pycharm安装、卸载)
    3.在Ubuntu中安装PyCharmPyCharm的官方网站地址是:https:www.jetbrains.compycharm注意:安装时不要使用root用户安装,否则后期使用 ... [详细]
  • mongodb复制集部署文档 ... [详细]
  • lazarus使用sqlite3遇到特定字符时出现乱码的Bug
    lazarus使用zeosDB控件时发现SQLite一个奇怪的现象,应用程序编译为win64时,如果输入中国2022中国时出现乱码,win32和linux64正常,开始怀疑的sql ... [详细]
  • 是不是zlib是这些库的压缩算法的实现库,而这么多库它们只是在打包的时候使用了zlib进行压缩而已.而具体的打包格式就有ZIP,BZIP2,GZ之分?但是在我们在用gz压缩时候通常之前 ... [详细]
  • 一次上线事故,30岁+的程序员踩坑经验之谈
    本文主要介绍了一位30岁+的程序员在一次上线事故中踩坑的经验之谈。文章提到了在双十一活动期间,作为一个在线医疗项目,他们进行了优惠折扣活动的升级改造。然而,在上线前的最后一天,由于大量数据请求,导致部分接口出现问题。作者通过部署两台opentsdb来解决问题,但读数据的opentsdb仍然经常假死。作者只能查询最近24小时的数据。这次事故给他带来了很多教训和经验。 ... [详细]
  • 大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记
    本文介绍了大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记,包括outputFormat接口实现类、自定义outputFormat步骤和案例。案例中将包含nty的日志输出到nty.log文件,其他日志输出到other.log文件。同时提供了一些相关网址供参考。 ... [详细]
  • Hadoop2.6.0 + 云centos +伪分布式只谈部署
    3.0.3玩不好,现将2.6.0tar.gz上传到usr,chmod-Rhadoop:hadophadoop-2.6.0,rm掉3.0.32.在etcp ... [详细]
  • MapReduce工作流程最详细解释
    MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型,MapReduce的计算过程被封装的很好,我们只用使用Map和Reduce函数,所以对其整体的计算过程不是太 ... [详细]
author-avatar
王老虎在江湖
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有