Nutch相关框架安装使用最佳指南

# skip everything else
-.
 5、cd /home/ysc/workspace/nutch1.2
 nutch1.2是一个完整的搜索引擎，nutch1.5.1只是一个爬虫。nutch1.2可以把索引提交给SOLR，也可以直接生成LUCENE索引，nutch1.5.1则只能把索引提交给SOLR：
 1、cd /home/ysc
 2、wget http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-7/v7.0.29/bin/apache-tomcat-7.0.29.tar.gz
 3、tar -xvf apache-tomcat-7.0.29.tar.gz
 4、在左部Package Explorer的 nutch1.2文件夹下的build.xml文件上单击右键 > Run As > Ant Build... > 选中war target > Run
 5、cd /home/ysc/workspace/nutch1.2/build
 6、unzip nutch-1.2.war -d nutch-1.2
 7、cp -r nutch-1.2 /home/ysc/apache-tomcat-7.0.29/webapps
 8、vi /home/ysc/apache-tomcat-7.0.29/webapps/nutch-1.2/WEB-INF/classes/nutch-site.xml
 加入以下配置：
 
  searcher.dir
  /home/ysc/workspace/nutch1.2/data
 
  Path to root of crawl.  This directory is searched (in
  order) for either the file search-servers.txt, containing a list of
  distributed search servers, or the directory "index" containing
  merged indexes, or the directory "segments" containing segment
  indexes.
 

9、vi /home/ysc/apache-tomcat-7.0.29/conf/server.xml
将
               cOnnectionTimeout="20000"
               redirectPort="8443"/>
改为
               cOnnectionTimeout="20000"
               redirectPort="8443" URIEncoding="utf-8"/>

10、cd /home/ysc/apache-tomcat-7.0.29/bin
11、./startup.sh
12、访问： http://localhost:8080/nutch-1.2/

关于nutch1.2更多的BUG修复及资料，请参看我在CSDN发布的资源： http://download.csdn.net/user/yangshangchuan

二、nutch1.5.1
1、下载并解压eclipse（集成开发环境）
 下载地址： http://www.eclipse.org/downloads/，下载Eclipse IDE for Java EE Developers
2、安装Subclipse插件（SVN客户端）
 插件地址： http://subclipse.tigris.org/update_1.8.x，
3、安装IvyDE插件（下载依赖Jar）
 插件地址： http://www.apache.org/dist/ant/ivyde/updatesite/
4、签出代码
 File > New > Project > SVN > 从SVN 检出项目
 创建新的资源库位置 > URL： https://svn.apache.org/repos/asf/nutch/tags/release-1.5.1/ > 选中URL > Finish
 弹出New Project向导，选择Java Project > Next，输入Project name：nutch1.5.1 > Finish
5、配置构建路径
 在左部Package Explorer的 nutch1.5.1文件夹上单击右键 > Build Path > Configure Build Path...  
> 选中Source选项 > 选择src > Remove > Add Folder... > 选择src/bin, src/java, src/test 和 src/testresources（对于插件，需要选中src/plugin目录下的每一个插件目录下的src/java ， src/test文件夹） > OK
 切换到Libraries选项 >
 Add Class Folder... > 选中nutch1.5.1/conf > OK
 Add JARs... >  需要选中src/plugin目录下的每一个插件目录下的lib目录下的jar文件 > OK
 Add Library... > IvyDE Managed Dependencies > Next > Main > Ivy File > Browse > ivy/ivy.xml > Finish
 切换到Order and Export选项>
 选中conf > Top
6、执行ANT
 在左部Package Explorer的 nutch1.5.1文件夹下的build.xml文件上单击右键 > Run As > Ant Build
 在左部Package Explorer的 nutch1.5.1文件夹上单击右键 > Refresh
 在左部Package Explorer的 nutch1.5.1文件夹上单击右键 > Build Path > Configure Build Path...   >  选中Libraries选项 > Add Class Folder... >  选中build > OK
7、修改配置文件nutch-site.xml 和regex-urlfilter.txt
 将nutch-site.xml.template改名为nutch-site.xml
 将regex-urlfilter.txt.template改名为regex-urlfilter.txt
 在左部Package Explorer的 nutch1.5.1文件夹上单击右键 > Refresh
 将如下配置项加入文件nutch-site.xml：

  http.agent.name
  nutch


  http.content.limit
  -1

 修改regex-urlfilter.txt，将
# accept anything else
+.
 替换为：
+^http://([a-z0-9]*\.)*news.163.com/
-.
8、开发调试
 在左部Package Explorer的 nutch1.5.1文件夹上单击右键 > New > Folder > Folder name: urls
 在刚新建的urls目录下新建一个文本文件url，文本内容为： http://news.163.com
 打开src/java下的org.apache.nutch.crawl.Crawl.java类，单击右键Run As > Run Configurations > Arguments > 在Program arguments输入框中输入: urls -dir data -depth 3 > Run
 在需要调试的地方打上断点Debug As > Java Applicaton
9、查看结果
 查看segments目录：
 打开src/java下的org.apache.nutch.segment.SegmentReader.java类
 单击右键Run As > Java Applicaton，控制台会输出该命令的使用方法
 单击右键Run As > Run Configurations > Arguments > 在Program arguments输入框中输入: -dump data/segments/*  data/segments/dump
 用文本编辑器打开文件data/segments/dump/dump查看segments中存储的信息

 查看crawldb目录：
 打开src/java下的org.apache.nutch.crawl.CrawlDbReader.java类
 单击右键Run As > Java Applicaton，控制台会输出该命令的使用方法
 单击右键Run As > Run Configurations > Arguments > 在Program arguments输入框中输入: data/crawldb -stats
 控制台会输出 crawldb统计信息

 查看linkdb目录：
 打开src/java下的org.apache.nutch.crawl.LinkDbReader.java类
 单击右键Run As > Java Applicaton，控制台会输出该命令的使用方法
 单击右键Run As > Run Configurations > Arguments > 在Program arguments输入框中输入: data/linkdb -dump data/linkdb_dump
 用文本编辑器打开文件data/linkdb_dump/part-00000查看linkdb中存储的信息
10、全网分步骤抓取
 在左部Package Explorer的 nutch1.5.1文件夹下的build.xml文件上单击右键 > Run As > Ant Build
 cd  /home/ysc/workspace/nutch1.5.1/runtime/local
 #准备URL列表
 wget http://rdf.dmoz.org/rdf/content.rdf.u8.gz
 gunzip content.rdf.u8.gz
 mkdir dmoz
 bin/nutch org.apache.nutch.tools.DmozParser content.rdf.u8 -subset 5000 > dmoz/url
 #注入URL
 bin/nutch inject crawl/crawldb dmoz
 #生成抓取列表
 bin/nutch generate crawl/crawldb crawl/segments
 #第一次抓取
 s1=`ls -d crawl/segments/2* | tail -1`
 echo $s1
 #抓取网页
 bin/nutch fetch $s1
 #解析网页
 bin/nutch parse $s1
 #更新URL状态
 bin/nutch updatedb crawl/crawldb $s1
 #第二次抓取
 bin/nutch generate crawl/crawldb crawl/segments -topN 1000
 s2=`ls -d crawl/segments/2* | tail -1`
 echo $s2
 bin/nutch fetch $s2
 bin/nutch parse $s2
 bin/nutch updatedb crawl/crawldb $s2
 #第三次抓取
 bin/nutch generate crawl/crawldb crawl/segments -topN 1000
 s3=`ls -d crawl/segments/2* | tail -1`
 echo $s3
 bin/nutch fetch $s3
 bin/nutch parse $s3
 bin/nutch updatedb crawl/crawldb $s3
 #生成反向链接库
 bin/nutch invertlinks crawl/linkdb -dir crawl/segments

11、索引和搜索
 cd  /home/ysc/ 
 wget http://mirror.bjtu.edu.cn/apache/lucene/solr/3.6.1/apache-solr-3.6.1.tgz
 tar -xvf apache-solr-3.6.1.tgz
 cd apache-solr-3.6.1 /example
 
 NUTCH_RUNTIME_HOME=/home/ysc/workspace/nutch1.5.1/runtime/local
 APACHE_SOLR_HOME=/home/ysc/apache-solr-3.6.1

 cp ${NUTCH_RUNTIME_HOME}/conf/schema.xml ${APACHE_SOLR_HOME}/example/solr/conf/
 如果需要把网页内容存储到索引中，则修改 schema.xml文件中的
 
 为
 

 修改${APACHE_SOLR_HOME}/example/solr/conf/solrconfig.xml,将里面的text都替换为content

 把${APACHE_SOLR_HOME}/example/solr/conf/schema.xml中的 修改为
 #启动SOLR服务器
 java -jar start.jar

  http://127.0.0.1:8983/solr/admin/
  http://127.0.0.1:8983/solr/admin/stats.jsp

 cd  /home/ysc/workspace/nutch1.5.1/runtime/local
 #提交索引
 bin/nutch solrindex http://127.0.0.1:8983/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*

 执行完整crawl:
 bin/nutch crawl urls -dir data -depth 2 -topN 100 -solr http://127.0.0.1:8983/solr/

 使用以下命令分页查看所有索引的文档：
  http://127.0.0.1:8983/solr/select/?q=*%3A*&version=2.2&start=0&rows=10&indent=on
 标题包含“网易”的文档：
  http://127.0.0.1:8983/solr/select/?q=title%3A%E7%BD%91%E6%98%93&version=2.2&start=0&rows=10&indent=on

12、查看索引信息
 cd  /home/ysc/
 wget http://luke.googlecode.com/files/lukeall-3.5.0.jar
 java -jar lukeall-3.5.0.jar
 Path: /home/ysc/apache-solr-3.6.1/example/solr/data

13、配置SOLR的中文分词
 cd  /home/ysc/
 wget http://mmseg4j.googlecode.com/files/mmseg4j-1.8.5.zip
 unzip mmseg4j-1.8.5.zip -d  mmseg4j-1.8.5
 
 APACHE_SOLR_HOME=/home/ysc/apache-solr-3.6.1
 mkdir $APACHE_SOLR_HOME/example/solr/lib
 mkdir $APACHE_SOLR_HOME/example/solr/dic
 cp mmseg4j-1.8.5/mmseg4j-all-1.8.5.jar $APACHE_SOLR_HOME/example/solr/lib
 cp mmseg4j-1.8.5/data/*.dic $APACHE_SOLR_HOME/example/solr/dic
 
 将${APACHE_SOLR_HOME}/example/solr/con