ApacheNutch1.3学习笔记十（插件扩展）

1. 自己扩展一个简单的插件

   这里扩展一个Nutch的URLFilter插件，叫MyURLFilter

   1.1 生成一个Package

    首先生成一个与urlfilter-regex类似的包结构
如org.apache.nutch.urlfilter.my

   1.2 在这个包中生成相应的扩展文件

    再生成一个MyURLFilter.java文件，内容如下：

1. package org.apache.nutch.urlfilter.my;  
2.     
3. import java.io.BufferedReader;  
4. import java.io.IOException;  
5. import java.io.InputStreamReader;  
6.     
7.     
8. import org.apache.hadoop.conf.Configuration;  
9. import org.apache.nutch.net.URLFilter;  
10. import org.apache.nutch.urlfilter.prefix.PrefixURLFilter;  
11.     
12.     
13. public class MyURLFilter implements URLFilter{   // 这里的继承自Nutch的URLFilter扩展  
14.     private Configuration conf;  
15.         
16.     public MyURLFilter()  
17.     {}  
18.     @Override  
19.     public String filter(String urlString) {  // 对url字符串进行过滤  
20.         // TODO Auto-generated method stub  
21.         return "My Filter:"+ urlString;  
22.     }  
23.     
24.     
25.     @Override  
26.     public Configuration getConf() {  
27.         // TODO Auto-generated method stub  
28.         return this.conf;  
29.     }  
30.     
31.     
32.     @Override  
33.     public void setConf(Configuration conf) {  
34.         // TODO Auto-generated method stub  
35.         this.conf = conf;  
36.     }  
37.         
38.     public static void main(String[] args) throws IOException  
39.     {  
40.              
41.         MyURLFilter filter = new MyURLFilter();  
42.             
43.         BufferedReader in=new BufferedReader(new InputStreamReader(System.in));  
44.         String line;  
45.         while((line=in.readLine())!=null) {  
46.           String out=filter.filter(line);  
47.           if(out!=null) {  
48.             System.out.println(out);  
49.           }  
50.         }  
51.     }  
52.     
53.     
54. }  

    1.3 打包成jar包并生成相应的plugin.xml文件

打包可以用ivy或者是eclipse来打，每一个plugin都有一个描述文件plugin.xml，内容如下：

1.   
2.   id="urlfilter-my"  
3.   name="My URL Filter"  
4.   version="1.0.0"  
5.   provider-name="nutch.org">  
6.     
7.     
8.     
9.       name="urlfilter-my.jar">  
10.          name="*"/>  
11.        
12. 如果这里你的插件有依赖第三方库的话，可以这样写  
13.       name="fontbox-1.4.0.jar"/>  
14.       name="geronimo-stax-api_1.0_spec-1.jar"/>  
15.   -->  
16.     
17.     
18.     
19.     
20.       plugin="nutch-extensionpoints"/>  
21.     
22.     
23.     
24.    id="org.apache.nutch.net.urlfilter.my"  
25.              name="Nutch My URL Filter"  
26.              point="org.apache.nutch.net.URLFilter">  
27.       id="MyURLFilter"  
28.                      class="org.apache.nutch.urlfilter.prefix.MyURLFilter"/>  
29.      
30.       id="PrefixURLFilter"  
31.                      class="org.apache.nutch.net.PrefixURLFilter">  
32.         name="file" value="urlfilter-prefix.txt"/>  
33.        
34.      -->  
35.     
36.     
37.     
38. lt;/plugin>