基于OAIPMH的元数据搜索引擎的设计与实现

在设计和实现基于OAI-PMH的元数据搜索引擎过程中&＃xff0c;需要解决很多方面的问题。

对于中小型搜索引擎&＃xff0c;最好使用开放源代码软件来实现。

一、实现基于OAI-PMH的元数据搜索引擎&＃xff0c;我采用了如下开放源代码软件&＃xff1a;

&＃xff08;1&＃xff09;OAIHarvester&＃xff1a;从支持元数据资源开放的DataProvider获取元数据资源。

&＃xff08;2&＃xff09; HTMLParser&＃xff1a;用于解析HTML页面&＃xff0c;并从中解析出可以有效获取与元数据对应的全文&＃xff08;fulltext&＃xff09;的url地址。

&＃xff08;3&＃xff09;Lucene&＃xff1a;建立全文索引数据库 &＃xff0c;实现索引和检索。

&＃xff08;3&＃xff09;CJKAnalyzer&＃xff1a;中文分词程序。

&＃xff08;4&＃xff09;PDFBox&＃xff1a;用于处理PDF格式全文&＃xff0c;可以轻易实现从PDF中提取文本、图片。

&＃xff08;5&＃xff09;tm-extracter&＃xff1a;用于从PDF和Doc文件中提取文本。

二、设计和实现过程中需要解决的关键问题&＃xff1a;

&＃xff08;1&＃xff09; 改进OAIHarvester&＃xff0c;使之基于多线程下载。

&＃xff08;2&＃xff09;设计和实现简单的XMLParser。用于解析OAIHarvester的获取结果&＃xff1a;xml文档。

&＃xff08;3&＃xff09;实现元数据对应的全文获取。需要解析html文档。

&＃xff08;4&＃xff09;各种格式文件&＃xff08;如&＃xff1a;pdf、doc等&＃xff09;文件的索引问题。需要首先提取文本&＃xff0c;然后对关键文本进行获取。

&＃xff08;5&＃xff09;元数据的语种识别。该问题还没有解决&＃xff0c;如果有谁解决了该问题的话&＃xff0c;请帮忙。据说TextCat&＃xff08;C语言实现&＃xff09;可以实现语种识别&＃xff0c;但没找到源代码。如果谁有的话&＃xff0c;希望能共享一下。

&＃xff08;6&＃xff09;检索界面的设计与实现。仿照cnki的界面来设计。

三、在阅读开放源码软件的时候&＃xff0c;一定要认真分析其引用的第三方软件。

在学习和实践数字仓储管理系统Dspace的过程中&＃xff0c;我发现Dspace引用的开放源码软件非常丰富&＃xff0c;而且引用得非常成功。