Windows下配置Eclipse连接Hadoop开发环境

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn

小站博文地址&＃xff1a;Windows 下配置 Eclipse 连接  Hadoop 开发环境&＃xff0c;欢迎原站访问~

学习更多&＃xff0c;请访问系列文章&＃xff1a;

1. VMware Redhat网络配置

2. Hadoop 三台主机 集群搭建 详解

3. Windows 下配置 Eclipse 连接 Hadoop 开发环境

学习本篇之前&＃xff0c;首先需要搭建Hadoop集群环境&＃xff0c;具体请参见&＃xff1a;Hadoop 三台主机 集群搭建 详解

在上一篇Hadoop 三台主机 集群搭建 详解&＃xff0c;已经搭建起Hadoop集群&＃xff0c;但是要开发调试MapReduce程序&＃xff0c;还是在Windows下比较方便和舒服。成功配置这个环境&＃xff0c;花费了我好几个晚上&＃xff0c;先记录如下&＃xff0c;方便后来学习的人&＃xff1a;

环境及配置&＃xff1a;

Eclipse选择

非常重要&＃xff0c;至少我是在这花费了很多时间&＃xff0c;几乎试遍了所有的eclipse版本&＃xff0c;都不成功&＃xff0c;最后选择了SpringSource Tool&＃xff0c;真的很好用&＃xff0c;下载地址&＃xff1a;http://www.springsource.org/downloads/sts

Cygwin

hadoop是基于Linux平台的&＃xff0c;如其启动&＃xff0c;关闭 配置需要在Linux命令行中执行&＃xff0c;cygwin是用来模拟Linux下的命令行工具。安装地址&＃xff1a;http://cygwin.com/install.html

Hadoop Eclipse插件

不建议使用Hadoop自带的&＃xff0c;不好用&＃xff0c;如果使用SpringSource Tool的话&＃xff0c;请使用hadoop-eclipse-plugin-0.20.3-SNAPSHOT&＃xff0c;下载地址&＃xff1a;https://issues.apache.org/jira/browse/MAPREDUCE-1280

预先配置

1. 安装Cygwin&＃xff0c;这个只要一路确定就行了&＃xff0c;不过中间千万别停顿。

2. 配置Windows Hosts文件&＃xff0c;为了DNS解析寻址用

方法&＃xff1a;进入C:\Windows\System32\drivers\etc&＃xff0c;找到hosts文件&＃xff0c;编辑添加hadoop集群配置的hosts文件相关信息如下&＃xff1a;

192.168.40.5　　　　master

192.168.40.6　　　　slave1#非必须#

192.168.40.7　　　　slave2#非必须#

安装配置&＃xff1a;

① 解压下载的SpringSource Tool到D:\\STS&＃xff0c;将hadoop-eclipse-plugin-0.20.3-SNAPSHOT放到&＃xff1a;D:\STS\sts-2.9.1.RELEASE\plugins

② 点击STS.exe&＃xff0c;启动SpringSource Tool(一下简称Eclipse)&＃xff0c;如果在Project Explorer中出现DFS Locations图标&＃xff0c;则说明安装正确&＃xff0c;如图&＃xff1a;

③ 之后&＃xff0c;点击Windows-->Preferrence-->hadoop map/reduce, Brower 选择下载的hadoop-0.20.2所在的路径&＃xff1a;

④ 配置相关参数&＃xff0c;点击 Windows-->Show View -->Other --> Map/Reduce Location&＃xff0c;打开Hadoop的MapReduce View

点击Ok之后&＃xff0c;出现如下图

⑤ 上一步你不应该看到hadoopLoc, 应该什么都没有&＃xff0c;右键点击空白处-->New Hadoop Location, 你会看到一个填写MapReduce Location参数的一个界面&＃xff1a;

其中&＃xff1a;

Location Name&＃xff1a;

这个不用在意&＃xff0c;就是对这个MapReduce的标示&＃xff0c;只要能帮你记忆即可

Map/Reduce Master 部分相关定义&＃xff1a;

Host&＃xff1a;上一节搭建的集群中JobTracker所在的机器的IP地址

port&＃xff1a;JobTracker的端口

两个参数就是 mapred-site.xml中mapred.job.tracker的ip和端口

DFS Master部分&＃xff1a;

Host&＃xff1a;就是上一节集群搭建中Namenode所在机器IP

Port&＃xff1a;就是namenode的端口

这两个参数是在 core-site.xml里fs.default.name里面的ip和端口

User Name&＃xff1a;

就是搭建Hadoop集群是所用的用户名&＃xff0c;我这里用的是root

⑥ 填写完以上信息以后&＃xff0c;关闭Eclipse&＃xff0c;然后重新启动。

为什么这么做呢&＃xff1f;因为如果不重新启动&＃xff0c;Advanced Parameters里&＃xff0c;有些重要的选项不能显示&＃xff0c;重启后&＃xff0c;来配制Advanced Parameters信息&＃xff1a;

可看到大部分选项都已经预设值好了&＃xff0c;其中有一下几个选项&＃xff0c;必须注意填写&＃xff0c;其他的选项&＃xff0c;要么默认&＃xff0c;要么会根据我们填写的以下几个选项自动修改&＃xff1a;

dfs.replication:

这个这里默认是3&＃xff0c;但是要根据你的Datanode的个数来定&＃xff0c;如果你仅有2个datanode&＃xff0c;那么就写2&＃xff0c;如果只有一个&＃xff0c;就写1&＃xff0c;大于或者等于3个&＃xff0c;写3

hadoop.tmp.dir:

这个要跟上节建立的Hadoop集群配置中core-site.xml 中的hadoop.tmp.dir设置一样&＃xff0c;上节填写的是/tmp/hadoop-root&＃xff0c;这里也如是填写

hadoop.job.ugi:

填成root,Tardis&＃xff0c;其中root是我们的用户名&＃xff0c;后边的",Tardis"一定要这么写&＃xff0c;不能改

这些都填写完了之后&＃xff0c;点击保存&＃xff0c;重新启动Eclipse&＃xff0c;会发现&＃xff0c;很多Advanced Parameters里的好多选项都根据hadoop.tmp.dir重新进行了设置。

(2012.10.26修改&＃xff1a;现在又用hadoop1.0.3&＃xff0c;此选项没有了)

⑦ 重新启动后&＃xff0c;在Project Explorer中&＃xff0c;会有如下显示&＃xff1a;

 注意&＃xff0c;第一次初始化打开&＃xff0c;并不会有user, input, output 这些文件夹&＃xff0c;之后红圈圈出的部分&＃xff0c;也没有job_local_0001(1).如果是这样显示说明你已经连接成功&＃xff0c;否则&＃xff0c;展开所有tmp文件夹&＃xff0c;会发现最后有错误信息提示。

2012.10.26修改&＃xff1a;

hadoop1.0.3此时还会出错&＃xff0c;是plugin中jar包不够&＃xff0c;可做如下修改&＃xff1a;

1.打开Eclipse Plugins中的hadoop-eclipse-plugin-1.0.0.jar&＃xff0c;发现只有发现只有commons-cli-1.2.jar和hadoop-core.jar两个包&＃xff0c;将%HADOOP_HOME%/lib下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.8.8.jar 和 jackson-mapper-asl-1.0.8.jar五个jar包打入hadoop-eclipse-plugin-1.0.0.jar中。

2.修改hadoop-eclipse-plugin-1.0.0.jar中META-INF目录下的MANIFEST.MF&＃xff0c;将classpath修改为以下内容&＃xff1a;Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

3.重启Eclipse即可。

⑧ 在Eclipse中编写调试第一个Hadoop的HelloWorld程序&＃xff1a;wordcount

建立Map/Reduce 工程

定义WordCount.Java类

这里&＃xff0c;我下载了Hadoop源码&＃xff0c;直接拷贝了其WordCount.java文件&＃xff0c;代码如下&＃xff1a;

为了使程序成功运行&＃xff0c;我们需要做一下工作

设置输入&＃xff1a;

在命令行中&＃xff0c;像hadoop中添加一个文本文件&＃xff1a;

hadoop fs -mkdir /input  #在HDFS用户根目录下建立input文件夹

hadoop fs -put test.txt /input/ #向input文件夹里放入所在路径的test.txt文件

该步骤也可以在Eclipse中建立&＃xff0c;首先右键点击Project Explorer中大象图标下第一个没有名字的文件夹&＃xff0c;点击 Create New Directory&＃xff0c;创建input文件夹&＃xff0c;后再右键该文件夹&＃xff0c;上传test.txt文件。此时到hadoop DFS中查看&＃xff0c;也会发现创建成功。

Eclipse中设置输入参数

设置WordCount.java的执行参数如图

在Eclipse中执行

如图&＃xff0c;点击 Run on Hadoop

在控制台&＃xff0c;会有以下输出

OK&＃xff0c;至此&＃xff0c;Congratulations&＃xff0c;你已经建立起自己在Windows中Eclipse下进行Hadoop MapReduce开发的基本环境设置工作&＃xff0c;并且输出了一个属于自己的HelloWorld程序&＃xff0c;并且稍微了解了一些hadoop日志分析的信息&＃xff0c;你已经开始进入Hadoop的世界&＃xff0c;剩下的&＃xff0c;就是要不断地深入学习了。

接下来&＃xff0c;本来打算将Hive&＃xff0c;HBase&＃xff0c;Fuse等Hadoop工程相关的配置过程都详细的记录&＃xff0c;但是现在都还用不到&＃xff0c;所以就打算先搁下&＃xff0c;开始读Hadoop源码&＃xff0c;本身以前也没有读源码的经验&＃xff08;以前做Salesforce CRM云计算&＃xff0c;是不开源的&＃xff09;&＃xff0c;也会将一步一步学习的过程记录并分享。从Configuration类读起&＃xff0c;依旧立此存照&＃xff0c;必须说到做到。

转载注明出处&＃xff0c;博客园 石头儿 尤其说给 Linux 公社 听&＃xff0c;没见过你们这么无耻的人&＃xff01;转载之后&＃xff0c;不仅原转载文章被变成你们的&＃xff0c;连引用的自己的文章&＃xff0c;也都一并给你们摘抄过去变成你们的了。