xapianxunsearch的后端

2019独角兽企业重金招聘Python工程师标准>>>

Xapian 是一款开源的C&＃43;&＃43;信息检索系统&＃xff0c;内部系统试用了xunsearch&＃xff0c;因此稍微了解了一下“虾片”的机制

先看一下执行过程&＃xff1a;

检索相关&＃xff1a;

Xapian::Database 用于读取索引。

Xapian::Enquire 提供检索服务&＃xff0c;与Xapian::Database配合使用

Xapian::QueryParser 查询语句解析器

Xapian::Query 查询语句

Xapian::MSet 检索返回的匹配结果记录集

建索引相关&＃xff1a;

Xapian::WritableDatabase 用于建立索引。

Xapian::TermGenerator 非常简单的切词、建索引器&＃xff0c;不是必须使用的&＃xff0c;可用其他替代&＃xff0c;但是提供了一些帮助函数&＃xff0c;非常好用。

共用&＃xff1a;

Xapian::Document 文档的抽象。

Xapian::SimpleStopper 停用词

Xapian::Error 异常类&＃xff0c;.get_description()获取详细信息。

后端相关&＃xff1a;

Xapian::Database::Internal 每个后端都要实现

Database&＃xff0c;也可以称为Index

Database类型

- auto

- brass

- 当前开发中的后端&＃xff0c;并将作为1.4.x版本起的默认后端

- chert

- 1.2.x的默认后端&＃xff0c;支持增量修改、单写者&＃43;多读者的并发。

- 高效且可扩展

- flint

- 1.0.x的默认后端&＃xff0c;类chert

- inmemory

- 全内存的database&＃xff0c;可用于建立临时小database

- quartz

- 1.0的默认后端&＃xff0c;1.1.0后移除

文档

- 粒度

- RMDB&＃xff1a;表中的一条记录

- html&＃xff1a;一个html文件/一个标签

- 表示方式

- 32位 Document ID

- 3个组分

- 数据data

- 只存储&＃xff0c;不分析其内容&＃xff0c;通常用于结果的返回

- 是文档的部分/全部数据

- 词集terms

- 基本的查询单元

- 值域集values

分词器

- xapian没有Field的概念&＃xff0c;通过在每个词前加前缀来标识

- 需要注意的是&＃xff0c;在Xapian中&＃xff0c;如果你在索引的时候使用了TermGenerate来进行分词&＃xff0c;那在查询的时候一定要使用QueryParser来对查询条件进行解析

索引

一些限制&＃xff1a;

- Term Length:一个词限制在256个字节内&＃xff0c;

- Document Data:一个data区不能大于100MB,默认是8KB

- Document value:和一个data区的限制是一样的&＃xff0c;但一般建议value不要太大

- Document ID: 当前范围是32bit,大概在43亿左右&＃xff0c;文档删除的ID号不会被重新利用&＃xff0c;除非你对数据库进行compact

- B-tree block number: 目前支持最大为32bit个块

- OS file size:所有操作系统对于单个文档的限制对于Xapian都适用&＃xff0c;如ext4对于单个文件的大小为16TB,

- Document length:文档长度的存储限制为unsigned 64bit

索引格式

- Xapian有多种数据库格式

分面搜索(faceted search)

- 将搜索结果进行聚类处理

并行读写操作

- 写

- 数据库只支持单个数据库写对象存在

- 也就是说在创建一个DataBaseWritable对象的时候&＃xff0c;会对数据库进行加锁&＃xff0c;如果另一个写数据库对象再去写这个数据库时&＃xff0c;会出现DatabaseLockError错误。

- 读

- 但是多个读对象是同时存在于同一个数据库。

- 更新

- 读/写操作隔离

- 当打开一个数据库准备进行读操作时&＃xff0c;会创建一个找开数据库的镜像&＃xff0c;这样有写操作时&＃xff0c;读对象是不可见的&＃xff0c;除非读对象运行reopen()操作。

- 限制

- 现在的Xapian多版本同步还是有一些限制的&＃xff0c;特别是当数据库有两个版本同时存在时&＃xff0c;也就是说有多个读&＃xff0c;一个写数据库操作时&＃xff0c;当写数据库只修改了数据库&＃xff0c;运行了一次commit时&＃xff0c;是没问题的&＃xff0c;但是当写数据库又运行了第二次commit时&＃xff0c;读数据库操作会收到了一个Xapian::DatabaseModifiedError&＃xff0c;在这种情况下&＃xff0c;读数据库操作要更新其数据库的镜像版本&＃xff0c;使用reopen()操作&＃xff0c;这个要在编程上注意一下。

数据同步

- 同时支持数据库的复制&＃xff0c;而且只复制那些变更过的索引数据&＃xff0c;这样可以使用数据冗余&＃xff0c;达到负载均衡的目的

常见问题

- DatabaseLockError错误

- 数据库只支持单个数据库写对象存在&＃xff0c;也就是说在创建一个DataBaseWritable对象的时候&＃xff0c;会对数据库进行加锁&＃xff0c;如果另一个写数据库对象再去写这个数据库时&＃xff0c;会出现DatabaseLockError错误

- 但是多个读对象是同时存在于同一个数据库。

- DatabaseModifiedError错误

- 当打开一个数据库准备进行读操作时&＃xff0c;会创建一个找开数据库的镜像&＃xff0c;这样有写操作时&＃xff0c;读对象是不可见的&＃xff0c;除非读对象运行reopen()操作。这样读/写操作就隔离了。

- 现在的Xapian多版本同步还是有一些限制的&＃xff0c;特别是当数据库有两个版本同时存在时&＃xff0c;也就是说有多个读&＃xff0c;一个写数据库操作时&＃xff0c;当写数据库只修改了数据库&＃xff0c;运行了一次commit时&＃xff0c;是没问题的&＃xff0c;

- 但是当写数据库又运行了第二次commit时&＃xff0c;读数据库操作会收到了一个Xapian::DatabaseModifiedError&＃xff0c;在这种情况下&＃xff0c;读数据库操作要更新其数据库的镜像版本&＃xff0c;使用reopen()操作。

- 多线程支持

- Xapian没有显示的支持多线程&＃xff0c;为了避免不必要的线程死锁&＃xff0c;Xapian没有使用任何全局变量&＃xff0c;所以你可以你的多线程应用中放心的使用Xapain对象。

- 但是一些Xapian对象内部是有关联的&＃xff0c;如Xapian::Database::get_document(),返回的对象Xapian::Document对象内部保存了一个指向DataBase的一个引用&＃xff0c;所以它不适合在多线程中使用&＃xff0c;所以在多线程中使用Xapian的时候还是要注意一些东西的。