solrmysql原理_solr的基本原理加油东溪少年的个人空间OSCHINA中文开源技术交流社区...

solr介绍&＃xff1a;

solr是一个全局检索引擎&＃xff0c;能够快速地从大量的文本数据中选出你所需要的数据&＃xff0c;而你只需要提供相应的关键词进行检索。solr的高效率查询靠的是底层强大的索引库&＃xff0c;所以solr最关键的技术也是其底层的索引设计。solr工作的时候可以归结成两个过程1.创建索引2.搜索索引。

这是一张solr的基本工作图&＃xff1a;

如图所示&＃xff1a; ** 1.**图中横线左边部分说明了solr中的数据来源&＃xff0c;solr可以从数据库中获得数据&＃xff0c;用户只需要简单的操作即可将数据库中的数据导入到solr中&＃xff0c;除了数据库外solr可以从文件系统中保存数据&＃xff0c;能直接保存互联网的数据&＃xff0c;当热用户也可手动导入数据。

** 2.**图中的index Documents就是前文所说的两个过程中的第一个创建索引&＃xff0c;solr必须对导入的数据创建索引来保证查询的效率。

**3.**图上最底下有个index&＃xff0c;表示一个索引库&＃xff0c;索引库可以近似的看成是一个数据库&＃xff0c;前面创建的索引必须保存在索引库中。

**4.**图中的横线上边右半部分表示了用户对solr的查询&＃xff0c;用户通过各种方式对solr进行查询(如手动在solr管理页面上&＃xff0c;通过solrj进行查询)&＃xff0c;查询到达solr后&＃xff0c;solr进行search index(去索引库中对刚刚创建的索引进行检索)来找到用户想要得到的数据&＃xff0c;并将数据集返回给用户。

###solr索引 solr的索引类似如下图&＃xff1a;

solr的索引是一个反向索引&＃xff0c;比如说现在要找带solr这个词的数据&＃xff0c;那么首先会在词典中找到solr这个词&＃xff0c;在倒排表中会有一个链表与solr这个词关联着&＃xff0c;这个链表就是带有solr这个词的文本集的序号集。

###索引的创建过程 索引的创建过程可以分为&＃xff1a;1.分词组件2.语言处理组件3.索引组件

**1.**分词组件&＃xff1a; 当数据存入solr的时候首先会通过分词组件&＃xff0c;分词组件的作用1.将数据分成一个个词汇。2.去除标点符号.3.去除停词(比如中文的“的”&＃xff0c;“和”&＃xff0c;“啦”等等)

比如存入“Students should be allowed to go out&＃xff01;”分词组件会先将句子分成多个单词“Students”&＃xff0c;“should”&＃xff0c;“be” &＃xff0c;“allowed”&＃xff0c;“to”&＃xff0c;“go”&＃xff0c;“out”,“&＃xff01;”。随后会进行第二部将标点符号“&＃xff01;”去掉&＃xff0c;最后第三步会将“to”,“be”去掉。最后留下的结果为&＃xff1a;“Students”&＃xff0c;“should”&＃xff0c;“allowed”&＃xff0c;“go”&＃xff0c;“out”。

注意&＃xff1a;可以看出我们再对solr进行搜索的时候应该尽量避免使用符号或者停顿词作为检索关键词。

**2.**语言处理组件&＃xff1a; 语言处理组件的作用如下&＃xff1a; 1.变为小写(Lowercase)。 2.将单词缩减为词根形式&＃xff0c;如”cars”到”car”等。这种操作称为&＃xff1a;stemming。 3.将单词转变为词根形式&＃xff0c;如”drove”到”drive”等。这种操作称为&＃xff1a;lemmatization。

注意&＃xff1a;至此索引创建完成&＃xff0c;搜索”drive”时&＃xff0c;”driving”&＃xff0c;”drove”&＃xff0c;”driven”也能够被搜到。因为在索引中&＃xff0c;”driving”&＃xff0c;”drove”&＃xff0c;”driven”都会经过语言处理而变成”drive”&＃xff0c;在搜索时&＃xff0c;如果您输入”driving”&＃xff0c;输入的查询语句同样经过分词组件和语言处理组件处理的步骤&＃xff0c;变为查询”drive”&＃xff0c;从而可以搜索到想要的文档。Lowercase&＃xff0c;stemming同理

3.索引组件 假设现在有两个文档&＃xff1a; 文档一&＃xff1a;Students should be allowed to go out with their friends, but not allowed to drink beer. 文档二&＃xff1a;My friend Jerry went to school to see his students but found them drunk which is not allowed. 经过前两个组件的处理后得到如下索引&＃xff1a; Term Document ID student 1 allow 1 go 1 their 1 friend 1 allow 1 drink 1 beer 1 my 2 friend 2 jerry 2 go 2 school 2 see 2 his 2 student 2 find 2 them 2 drink 2 allow 2

对字典按字母顺序排序&＃xff1a; Term Document ID allow 1 allow 1 allow 2 beer 1 drink 1 drink 2 find 2 friend 1 friend 2 go 1 go 2 his 2 jerry 2 my 2 school 2 see 2 student 1 student 2 their 1 them 2

合并相同的词(Term)成为文档倒排(Posting List)链表

Document Frequency&＃xff1a;文档频次&＃xff0c;表示多少文档出现过此词(Term) Frequency&＃xff1a;词频&＃xff0c;表示某个文档中该词(Term)出现过几次

###索引的检索

通过前几步索引的创建&＃xff0c;现在就可以对创建的索引进行检索了。

1.当用户的检索关键词进入solr后&＃xff0c;solr会对传入的关键词进行处理&＃xff0c;具体处理过程类似创建索引时语言处理组件对文档词汇的处理过程。 2.将处理后的词在词典中搜索得到一个文档集。 3.将文档集根据词频将文档集进行相关性排序。

4.将结果集返回给用户