ES分词

• 分词
• 分词器
• 分词器构成
• 指定分词器
• 内置分词器

一 分词

1、Analysis&＃xff08;分词&＃xff09; 和 Analyzer&＃xff08;分词器&＃xff09;

Analysis&＃xff1a; 文本分析是把全文本转换一系列单词(term/token)的过程&＃xff0c;也叫分词。Analysis是通过Analyzer来实现的。

当一个文档被索引时&＃xff0c;每个Field都可能会创建一个倒排索引&＃xff08;Mapping可以设置不索引该Field&＃xff09;。
倒排索引的过程就是将文档通过Analyzer分成一个一个的Term,每一个Term都指向包含这个Term的文档集合。
当查询query时&＃xff0c;Elasticsearch会根据搜索类型决定是否对query进行analyze&＃xff0c;然后和倒排索引中的term进行相关性查询&＃xff0c;匹配相应的文档。

二 分词器

1. 内置分词器
2. 扩展分词器

分词器查看命令

POST _analyze
{"analyzer": "standard","text": "Like X 国庆放假的"
}


运行结果

三 分词器构成

1. Character Filters&＃xff1a;字符过滤器&＃xff0c;针对原始文本进行处理&＃xff0c;比如去除html标签
2. Tokenizer&＃xff1a;英文分词可以根据空格将单词分开,中文分词比较复杂,可以采用机器学习算法来分词。&＃xff0c;将原始文本按照一定规则切分为单词
3. Token Filters&＃xff1a;针对Tokenizer处理的单词进行再加工&＃xff0c;比如转小写、删除或增新等处理。将切分的单词进行加工。大小写转换&＃xff08;例将“Quick”转为小写&＃xff09;&＃xff0c;去掉词&＃xff08;例如停用词像“a”、“and”、“the”等等&＃xff09;&＃xff0c;或者增加词&＃xff08;例如同义词像“jump”和“leap”&＃xff09;

执行顺序&＃xff1a;

Character Filters--->Tokenizer--->Token Filter


三者个数&＃xff1a;

analyzer &＃61; CharFilters&＃xff08;0个或多个&＃xff09; &＃43; Tokenizer(恰好一个) &＃43; TokenFilters(0个或多个)


四 指定分词器

创建索引时设置分词器

PUT new_index
{"settings": {"analysis": {"analyzer": {"std_folded": {"type": "custom","tokenizer": "standard","filter": ["lowercase","asciifolding"]}}}},"mappings": {"properties": {"title": {"type": "text","analyzer": "std_folded" #指定分词器},"content": {"type": "text","analyzer": "whitespace" #指定分词器}}}
}


配置

标准分析器接受下列参数&＃xff1a;

max_token_length &＃xff1a; 最大token长度&＃xff0c;默认255
stopwords &＃xff1a; 预定义的停止词列表&＃xff0c;如_english_或 包含停止词列表的数组&＃xff0c;默认是 none
stopwords_path &＃xff1a; 包含停止词的文件路径

PUT new_index
{"settings": {"analysis": {"analyzer": {"my_english_analyzer": {"type": "standard", #设置分词器为standard"max_token_length": 5, #设置分词最大为5"stopwords": "_english_" #设置过滤词}}}}
}


五 内置分词器

Standard Analyzer

1、描述&特征&＃xff1a;
&＃xff08;1&＃xff09;默认分词器&＃xff0c;如果未指定&＃xff0c;则使用该分词器。
&＃xff08;2&＃xff09;按词切分&＃xff0c;支持多语言
&＃xff08;3&＃xff09;小写处理&＃xff0c;它删除大多数标点符号、小写术语&＃xff0c;并支持删除停止词。
2、组成&＃xff1a;
&＃xff08;1&＃xff09;Tokenizer&＃xff1a;Standard Tokenizer
&＃xff08;2&＃xff09;Token Filters&＃xff1a;Lower Case Token Filter

例&＃xff1a;POST _analyze
{
"analyzer": "standard",
"text": "The 2 QUICK Brown-Foxes jumped over the lazy dog&＃39;s bone."
}
上面的句子会产生下面的条件&＃xff1a;
[ the, 2, quick, brown, foxes, jumped, over, the, lazy, dog&＃39;s, bone ]


Simple Analyzer

1、描述&特征&＃xff1a;
&＃xff08;1&＃xff09;按照非字母切分&＃xff0c;简单分词器在遇到不是字母的字符时将文本分解为术语
&＃xff08;2&＃xff09;小写处理&＃xff0c;所有条款都是小写的。
2、组成&＃xff1a;
&＃xff08;1&＃xff09;Tokenizer&＃xff1a;Lower Case Tokenizer

例&＃xff1a;
POST _analyze
{
"analyzer": "simple",
"text": "The 2 QUICK Brown-Foxes jumped over the lazy dog&＃39;s bone."
}
上面的句子会产生下面的条件&＃xff1a;
[ the, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]


Whitespace Analyzer

1、描述&特征
&＃xff08;1&＃xff09;空白字符作为分隔符&＃xff0c;当遇到任何空白字符&＃xff0c;空白分词器将文本分成术语。
2、组成&＃xff1a;
&＃xff08;1&＃xff09;Tokenizer&＃xff1a;Whitespace Tokenizer

例&＃xff1a;
POST _analyze
{
"analyzer": "whitespace",
"text": "The 2 QUICK Brown-Foxes jumped over the lazy dog&＃39;s bone."
}
上面的句子会产生下面的条件&＃xff1a;
[ The, 2, QUICK, Brown-Foxes, jumped, over, the, lazy, dog&＃39;s, bone. ]


Stop Analyzer

1、描述&特征&＃xff1a;
&＃xff08;1&＃xff09;类似于Simple Analyzer&＃xff0c;但相比Simple Analyzer&＃xff0c;支持删除停止字
&＃xff08;2&＃xff09;停用词指语气助词等修饰性词语&＃xff0c;如the, an, 的&＃xff0c; 这等
2、组成 &＃xff1a;
&＃xff08;1&＃xff09;Tokenizer&＃xff1a;Lower Case Tokenizer
&＃xff08;2&＃xff09;Token Filters&＃xff1a;Stop Token Filter

例&＃xff1a;
POST _analyze
{
"analyzer": "stop",
"text": "The 2 QUICK Brown-Foxes jumped over the lazy dog&＃39;s bone."
}
上面的句子会产生下面的条件&＃xff1a;
[ quick, brown, foxes, jumped, over, lazy, dog, s, bone ]


Keyword Analyzer

1、组成&特征&＃xff1a;
&＃xff08;1&＃xff09;不分词&＃xff0c;直接将输入作为一个单词输出&＃xff0c;它接受给定的任何文本&＃xff0c;并输出与单个术语完全相同的文本。
2、组成&＃xff1a;
&＃xff08;1&＃xff09;Tokenizer&＃xff1a;Keyword Tokenizer

例&＃xff1a;
POST _analyze
{
"analyzer": "keyword",
"text": "The 2 QUICK Brown-Foxes jumped over the lazy dog&＃39;s bone."
}
上面的句子会产生下面的条件&＃xff1a;
[ The 2 QUICK Brown-Foxes jumped over the lazy dog&＃39;s bone. ]


Pattern Analyzer

模式分词器使用正则表达式将文本拆分为术语。
&＃xff08;1&＃xff09;通过正则表达式自定义分隔符
&＃xff08;2&＃xff09;默认是\W&＃43;&＃xff0c;即非字词的符号作为分隔符

Language Analyzers

ElasticSearch提供许多语言特定的分析工具&＃xff0c;如英语或法语。

Fingerprint Analyzer

指纹分词器是一种专业的指纹分词器&＃xff0c;它可以创建一个指纹&＃xff0c;用于重复检测。

Custom analyzers

如果您找不到适合您需要的分词器&＃xff0c;您可以创建一个自定义分词器&＃xff0c;它结合了适当的字符过滤器、记号赋予器和记号过滤器。

参考

• https://www.jianshu.com/p/65bcac286012
• https://www.cnblogs.com/qdhxhz/p/11585639.html