hadoop eclipse插件生成
做了一年的hadoop开发,还没有自己主动生成过eclipse插件,一直都是在网上下载别人的用,今天有时间,就把这段遗憾补回来,自己生成一下,废话不说,开始了。
一、环境说明
本列中的hadoop eclipse插件通过eclipse生成(未使用命令生成是因为用命令生成插件过程中发生的一些问题,不容易查看和修改,用eclipse很直观,方便出错校正),其中hadoop版本为 1.2.1(stable版),操作系统为Centos,IDE为myeclipse 2013(用eclipse也一样,没区别)。以下的HADOOP_HOME表示hadoop的安装目录。
二、插件生成
1.将$HADOOP_HOME/src/contrib/eclipse-plugin导入eclipse工程。
本例中将/opt/hadoop-1.2.1/src/contrib/eclipse-plugin目录导入eclipse。
如添加完成后的项目名称为“MapReduceTools”,如下图:
2.把hadoop-core-1.2.1.jar加入环境变量
右击项目——>build path——>configure buildpath,将现有的hadoop-core jar包删除(默认加入的包,已不在classpath中),然后将$HADOOP_HOME/hadoop-core-1.2.1.jar加入classpath。
3.修改各项配置文件:
(1).修改build.properties:
加入eclipse的安装目录和hadoop版本号,参考内如下
eclipse.home = 你的eclipse安装目录
version = 你的hadoop版本号
个人修改后的文件内如如下:
#add by jack zhu
eclipse.home = /opt/myeclipse-2013
version = 1.2.1
#add by jack zhu
output.. = bin/
bin.includes = META-INF/,plugin.xml,resources/,classes/,classes/,lib/
plugin.xml, resources/, classes/, classes/, lib/
(2).修改build.xml:
该文件需修改三处,参考如下,其中修改的地方均位于两个“”标记的中间:
注:以上文件内容可直接拷贝过去使用,没有任何区别。
(3).修改META-INF/MANIFEST.MF文件:
在该文件中加入上面步骤(2)的第三步中加入的jar包:lib/hadoop-core.jar,lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-lang-2.4.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar
该文件内容参考如下:
Manifest-Version: 1.0
Bundle-ManifestVersion: 2
Bundle-Name: MapReduce Tools for Eclipse
Bundle-SymbolicName: org.apache.hadoop.eclipse;singleton:=true
Bundle-Version: 0.18
Bundle-Activator: org.apache.hadoop.eclipse.Activator
Bundle-Localization: plugin
Require-Bundle: org.eclipse.ui,
org.eclipse.core.runtime,
org.eclipse.jdt.launching,
org.eclipse.debug.core,
org.eclipse.jdt,
org.eclipse.jdt.core,
org.eclipse.core.resources,
org.eclipse.ui.ide,
org.eclipse.jdt.ui,
org.eclipse.debug.ui,
org.eclipse.jdt.debug.ui,
org.eclipse.core.expressions,
org.eclipse.ui.cheatsheets,
org.eclipse.ui.console,
org.eclipse.ui.navigator,
org.eclipse.core.filesystem,
org.apache.commons.logging
Eclipse-LazyStart: true
Bundle-ClassPath: classes/,
lib/hadoop-core.jar,lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-lang-2.4.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar
Bundle-Vendor: Apache Hadoop
注:以上文件内容可直接拷贝过去使用,没有任何区别。
4.在build.xml中执行ant进行编译和打包:
在该页面右击——>Run As Ant Build
如果一切顺利的话,ant 编译打包完成后,将会在$HADOOP_HOME/contrib/eclipse-plugin目录下生成hadoop-eclipse-plugin-1.2.1.jar
5.将刚生成的jar包放入eclipse的安装目录下的dropins目录下,然后重启eclipse
这时就可以新建Map/Reduce Project了
如果不想自己生成,可以下载我生成的hadoop eclipse 插件:http://download.csdn.net/detail/u012875880/8154149
hadoop eclipse插件生成