把lucene作为数据库

小旋风垂直搜索平台&＃xff0c;包括多线程的爬虫系统&＃xff0c;中文分词等。

目前涉及一个数据存储系统&＃xff0c;当然需要支持多样数据库&＃xff0c;比如access/excel/mssql/mysql/orcal等等。

既然称之为垂直搜索平台&＃xff0c;则包括数据的索引&＃xff0c;索引使用的是lucene.net2.3.

考虑到数据的一次爬取后可以重复利用&＃xff0c;则考虑把数据预先统一索引到lucene&＃xff0c;然后通过索引管理模块将数据读出&＃xff0c;存储到相应的数据库。

有一个问题需要考虑&＃xff0c;lucene与数据库不同。lucene以document为单位&＃xff0c;而传统的关系数据库以记录为单位&＃xff0c;每条数据记录的格式是相同的&＃xff08;有些字段可以为空&＃xff09;

lucene则可以随意扩展你的字段。

这就需要规范存储入lucene的document必段包含的字段&＃xff0c;以备后续读取之用。一是document的更新时间&＃xff0c;二是数据的来源&＃xff08;字符串形式&＃xff0c;可以是网站&＃xff0c;比如58.com,比如是从其它数据库中导入的&＃xff0c;可以定义一个相关字段&＃xff09;