我们经常在数据库中使用 LIKE 操作符来完成对数据的模糊搜索&＃xff0c;LIKE 操作符用于在 WHERE 子句中搜索列中的指定模式。

如果需要查找客户表中所有姓氏是“张”的数据&＃xff0c;可以使用下面的 SQL 语句&＃xff1a;

SELECT * FROM Customer WHERE Name LIKE &＃39;张%&＃39;

如果需要查找客户表中所有手机尾号是“1234”的数据&＃xff0c;可以使用下面的 SQL 语句&＃xff1a;

SELECT * FROM Customer WHERE Phone LIKE &＃39;%123456&＃39;

如果需要查找客户表中所有名字中包含“秀”的数据&＃xff0c;可以使用下面的 SQL 语句&＃xff1a;

SELECT * FROM Customer WHERE Name LIKE &＃39;%秀%&＃39;

以上三种分别对应了&＃xff1a;左前缀匹配、右后缀匹配和模糊查询&＃xff0c;并且对应了不同的查询优化方式。

数据概览

现在有一张名为 tbl_like 的数据表&＃xff0c;表中包含了四大名著中的全部语句&＃xff0c;数据条数上千万&＃xff1a;

左前缀匹配查询优化

如果要查询所有以“孙悟空”开头的句子&＃xff0c;可以使用下面的 SQL 语句&＃xff1a;

SELECT * FROM tbl_like WHERE txt LIKE &＃39;孙悟空%&＃39;

SQL Server 数据库比较强大&＃xff0c;耗时八百多毫秒&＃xff0c;并不算快&＃xff1a;

我们可以在 txt 列上建立索引&＃xff0c;用于优化该查询&＃xff1a;

CREATE INDEX tbl_like_txt_idx ON [tbl_like] ( [txt] )

应用索引后&＃xff0c;查询速度大大加快&＃xff0c;仅需 5 毫秒&＃xff1a;

由此可知&＃xff1a;对于左前缀匹配&＃xff0c;我们可以通过增加索引的方式来加快查询速度。

右后缀匹配查询优化

在右后缀匹配查询中&＃xff0c;上述索引对右后缀匹配并不生效。使用以下 SQL 语句查询所有以“孙悟空”结尾的数据&＃xff1a;

SELECT * FROM tbl_like WHERE txt LIKE &＃39;%孙悟空&＃39;

效率十分低下&＃xff0c;耗时达到了 2.5秒&＃xff1a;

我们可以采用“以空间换时间”的方式来解决右后缀匹配查询时效率低下的问题。

简单来说&＃xff0c;我们可以将字符串倒过来&＃xff0c;让右后缀匹配变成左前缀匹配。以“防着古海回来再抓孙悟空”为例&＃xff0c;将其倒置之后的字符串是“空悟孙抓再来回海古着防”。当需要查找结尾为“孙悟空”的数据时&＃xff0c;去查找以“空悟孙”开头的数据即可。

具体做法是&＃xff1a;在该表中增加“txt_back”列&＃xff0c;将“txt”列的值倒置后&＃xff0c;填入“txt_back”列中&＃xff0c;最后为 “txt_back”列增加索引。

ALTER TABLE tbl_like ADD txt_back nvarchar(1000);-- 增加数据列UPDATE tbl_like SET txt_back &＃61; reverse(txt); -- 填充 txt_back 的值CREATE INDEX tbl_like_txt_back_idx ON [tbl_like] ( [txt_back] );-- 为 txt_back 列增加索引

数据表调整之后&＃xff0c;我们的 SQL 语句也需要调整&＃xff1a;

SELECT * FROM tbl_like WHERE txt_back LIKE &＃39;空悟孙%&＃39;

此番操作下来&＃xff0c;执行速度就非常迅速了&＃xff1a;

由此可知&＃xff1a;对于右后缀匹配&＃xff0c;我们可以建立倒序字段将右后缀匹配变成左前缀匹配来加快查询速度。

模糊查询优化

在查询所有包含“悟空”的语句时&＃xff0c;我们使用以下的 SQL 语句&＃xff1a;

SELECT * FROM tbl_like WHERE txt LIKE &＃39;%悟空%&＃39;

该语句无法利用到索引&＃xff0c;所以查询非常慢&＃xff0c;需要 2.7 秒&＃xff1a;

遗憾的是&＃xff0c;我们并没有一个简单的办法可以优化这个查询。但没有简单的办法&＃xff0c;并不代表没有办法。解决办法之一就是&＃xff1a;分词&＃43;倒排索引。

分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道&＃xff0c;在英文的行文中&＃xff0c;单词之间是以空格作为自然分界符的&＃xff0c;而中文只是字、句和段能通过明显的分界符来简单划界&＃xff0c;唯独词没有一个形式上的分界符&＃xff0c;虽然英文也同样存在短语的划分问题&＃xff0c;不过在词这一层上&＃xff0c;中文比之英文要复杂得多、困难得多。

倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值&＃xff0c;而是由属性值来确定记录的位置&＃xff0c;因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件&＃xff0c;简称倒排文件(inverted file)。

以上两段让人摸不着头脑的文字来自百度百科&＃xff0c;你可以和我一样选择忽略他。

我们不需要特别高超的分词技巧&＃xff0c;因为汉语的特性&＃xff0c;我们只需“二元”分词即可。

所谓二元分词&＃xff0c;即将一段话中的文字每两个字符作为一个词来分词。还是以“防着古海回来再抓孙悟空”这句话为例&＃xff0c;进行二元分词之后&＃xff0c;得到的结果是&＃xff1a;防着、着古、古海&＃xff0c;海回&＃xff0c;回来&＃xff0c;来再&＃xff0c;再抓&＃xff0c;抓孙&＃xff0c;孙悟&＃xff0c;悟空。使用 C# 简单实现一下&＃xff1a;

public static List Cut(String str){ var list &＃61; new List(); var buffer &＃61; new Char[2]; for (int i &＃61; 0; i

测试一下结果&＃xff1a;

我们需要一张数据表&＃xff0c;把分词后的词条和原始数据对应起来&＃xff0c;为了获得更好的效率&＃xff0c;我们还用到了覆盖索引&＃xff1a;

CREATE TABLE tbl_like_word ( [id] int identity, [rid] int NOT NULL, [word] nchar(2) NOT NULL, PRIMARY KEY CLUSTERED ([id]));CREATE INDEX tbl_like_word_word_idx ON tbl_like_word(word,rid);-- 覆盖索引(Covering index)

以上 SQL 语句创建了一张名为 ”tbl_like_word“的数据表&＃xff0c;并为其 ”word“和“rid”列增加了联合索引。这就是我们的倒排表&＃xff0c;接下来就是为其填充数据。

我们需要先用 LINQPad 自带的数据库链接功能链接至数据库&＃xff0c;之后就可以在 LINQPad 中与数据库交互了。首先按 Id 顺序每 3000 条一批读取 tbl_like 表中的数据&＃xff0c;对 txt 字段的值分词后生成 tbl_like_word 所需的数据&＃xff0c;之后将数据批量入库。完整的 LINQPad 代码如下&＃xff1a;

void Main(){ var maxId &＃61; 0; const int limit &＃61; 3000; var wordList &＃61; new List(); while (true) { $"开始处理&＃xff1a;{maxId} 之后 {limit} 条".Dump("Log"); //分批次读取 var items &＃61; Tbl_likes .Where(i &＃61;> i.Id > maxId) .OrderBy(i &＃61;> i.Id) .Select(i &＃61;> new { i.Id, i.Txt }) .Take(limit) .ToList(); if (items.Count &＃61;&＃61; 0) { break; } //逐条生产 foreach (var item in items) { maxId &＃61; item.Id; //单个字的数据跳过 if (item.Txt.Length <2) { continue; } var words &＃61; Cut(item.Txt); wordList.AddRange(words.Select(str &＃61;> new Tbl_like_word { Rid &＃61; item.Id, Word &＃61; str })); } } "处理完毕&＃xff0c;开始入库。".Dump("Log"); this.BulkInsert(wordList); SaveChanges(); "入库完成".Dump("Log");}// Define other methods, classes and namespaces herepublic static List Cut(String str){ var list &＃61; new List(); var buffer &＃61; new Char[2]; for (int i &＃61; 0; i

以上 LINQPad 脚本使用 Entity Framework Core 连接到了数据库&＃xff0c;并引用了 NuGet 包“EFCore.BulkExtensions”来做数据批量插入。

之后&＃xff0c;就可以把查询安排上&＃xff0c;先查询倒排索引&＃xff0c;然后关联到主表&＃xff1a;

SELECT TOP 10 * FROM tbl_like WHERE id IN (SELECT rid FROM tbl_like_word WHERE word IN (&＃39;悟空&＃39;))

查询速度很快&＃xff0c;仅需十几毫秒&＃xff1a;

因为我们将所有的语句分成了二字符词组&＃xff0c;所以当需要对单个字符模糊查询时&＃xff0c;直接使用 LIKE 是一个更加经济的方案。如果需要查询的字符多于两个时&＃xff0c;就需要对查询词进行分词。如需查询“东土大唐”一词&＃xff0c;构造出的查询语句可能会是这样&＃xff1a;

SELECT TOP 10*FROM tbl_like WHERE id IN (SELECT rid FROM tbl_like_word WHERE word IN (&＃39;东土&＃39;,&＃39;土大&＃39;,&＃39;大唐&＃39;))

但是&＃xff0c;该查询并不符合我们的预期&＃xff0c;因为其将只包含“土大”的语句也筛选了出来&＃xff1a;

我们可以采取一些技巧来解决这个问题&＃xff0c;比如先 GROUP 一下&＃xff1a;

SELECT TOP 10 *FROM tbl_likeWHERE id IN ( SELECT rid FROM tbl_like_word WHERE word IN ( &＃39;东土&＃39;, &＃39;土大&＃39;, &＃39;大唐&＃39; ) GROUP BY rid HAVING COUNT ( DISTINCT ( word ) ) &＃61; 3 )

在上述 SQL 语句中&＃xff0c;我们对 rid 进行了分组&＃xff0c;并筛选出了不重复的词组数量是三个(即我们的查询词数量)的。于是&＃xff0c;我们可以得到正确的结果&＃xff1a;

由此可知&＃xff1a;对于模糊查询&＃xff0c;我们可以通过分词&＃43;倒排索引的方式优化查询速度。

后记

虽然在讲述时使用的是 SQL Server 数据库&＃xff0c;但是以上优化经验对大部分关系型数据库来说是通用的&＃xff0c;比如 MySQL、Oracle 等。

如果你和笔者一样在实际工作中使用 PostgreSQL 数据库&＃xff0c;那么在做倒排索引时可以直接使用数组类型并配置 GiN 索引&＃xff0c;以获得更好的开发和使用体验。需要注意的是&＃xff0c;虽然 PostgreSQL 支持函数索引&＃xff0c;但是如果对函数结果进行 LIKE 筛选时&＃xff0c;索引并不会命中。

对于 SQLite 这种小型数据库&＃xff0c;模糊搜索并不能使用到索引&＃xff0c;所以左前缀搜索和右后缀搜索的优化方式对其不生效。不过&＃xff0c;一般我们不会使用 SQLite 去存储大量的数据&＃xff0c;尽管分词&＃43;倒排索引的优化方式也可以在 SQLite 中实现。