使用hadoopeclipseplugin提交Job并添加多个第三方jar（完美版）

原文地址:http://heipark.iteye.com/blog/1171923

通过 "conf.set("tmpjars", jars);" 可以设置第三方jar&＃xff0c;之前一直只是添加一个jar&＃xff0c;运行OK&＃xff0c;今天打算添加多个jar的时候发现mapreduce在运行时找不到class&＃xff08;ClassNotFoundException&＃xff09;&＃xff0c;跟踪代码发现jar文件的确上传到了HDFS中&＃xff0c;所以甚是无解&＃xff0c;后来上传jar到hdfs&＃xff0c;然后使用DistributedCache.addFileToClassPath()方法也不行。郁闷半天&＃xff0c;后来看到job.xml中有一段奇怪的设置&＃xff0c;mapred.job.classpath.files的value为"/user/heipark/lib/commons-lang-2.3.jar;/user/heipark/lib/guava-r08.jar"&＃xff0c;可以看到这个分隔符是分号&＃xff08;我的OS是windows&＃xff09;&＃xff0c;在linux系统和hadoop系统一般都是逗号和冒号分隔&＃xff0c;然后我继续挖&＃xff0c;发现DistributedCache.addArchiveToClassPath()方法(tmpjars也会用这个方法)中使用了“System.getProperty("path.separator")”&＃xff0c;于是灵感闪现&＃xff0c;修改该值为linux系统的冒号&＃xff0c;我嚓&＃xff0c;居然成功了&＃xff0c;搞了我4个小时&＃xff0c;eclipse终于可以添加多个第三方jar包了。封装了方法&＃xff0c;在main方法直接添加jar包就可以了。

调用&＃xff1a;

 

Java代码  

1. addTmpJar("D:/Java/new_java_workspace/scm/lib/guava-r08.jar", conf);  

 

 

方法定义&＃xff1a;

 

Java代码  

1. /** 
2.  * 为Mapreduce添加第三方jar包 
3.  *  
4.  * &＃64;param jarPath 
5.  *            举例&＃xff1a;D:/Java/new_java_workspace/scm/lib/guava-r08.jar 
6.  * &＃64;param conf 
7.  * &＃64;throws IOException 
8.  */  
9. public static void addTmpJar(String jarPath, Configuration conf) throws IOException {  
10.     System.setProperty("path.separator", ":");  
11.     FileSystem fs &＃61; FileSystem.getLocal(conf);  
12.     String newJarPath &＃61; new Path(jarPath).makeQualified(fs).toString();  
13.     String tmpjars &＃61; conf.get("tmpjars");  
14.     if (tmpjars &＃61;&＃61; null || tmpjars.length() &＃61;&＃61; 0) {  
15.         conf.set("tmpjars", newJarPath);  
16.     } else {  
17.         conf.set("tmpjars", tmpjars &＃43; "," &＃43; newJarPath);  
18.     }  
19. }