开发笔记:ElasticsearchElasticsearch对外提供分词服务实践

转载&＃xff1a;总结 | Elasticsearch对外提供分词服务实践

实战开发应用场景中&＃xff0c;有获取一段话、一篇文章词频的业务场景&＃xff0c;
词频的前提就是分词。
常用的中文分词包括&＃xff1a;

1. IK分词——https://github.com/medcl/elasticsearch-analysis-ik
2. 结巴分词——https://github.com/huaban/elasticsearch-analysis-jieba
3. ANSJ分词——https://github.com/NLPchina/elasticsearch-analysis-ansj

实际开发中&＃xff0c;我们可以借助以上分词工具封装成接口或服务进行分词。
但&＃xff0c;有没有想过&＃xff0c;借助Elasticsearch的分词插件直接实现分词呢并对外提供服务呢&＃xff1f;

这里是不是可以写一个针对多种分词器查看的效果呢&＃xff1f;

1. Elasticsearch对中文的处理&＃xff0c;倒排索引的前置条件就是中文分词。而分词&＃xff0c;我们常用的就是IK分词插件。
2. 正常ES的部署、开发设计时候就提前选好分词器。

综上&＃xff0c;借助Elasticsearch实现分词完全没有问题。

GET test_index/_analyze
{
"analyzer":"ik_smart",
"text":"9年后&＃xff0c;我还是没有跑出去 | 震后余生"
}


返回结果&＃xff1a;

{
"tokens": [
{
"token": "9",
"start_offset": 0,
"end_offset": 1,
"type": "ARABIC",
"position": 0
},
{
"token": "年后",
"start_offset": 1,
"end_offset": 3,
"type": "CN_WORD",
"position": 1
},
{
"token": "我",
"start_offset": 4,
"end_offset": 5,
"type": "CN_WORD",
"position": 2
},
{
"token": "还是",
"start_offset": 5,
"end_offset": 7,
"type": "CN_WORD",
"position": 3
},
{
"token": "没有",
"start_offset": 7,
"end_offset": 9,
"type": "CN_WORD",
"position": 4
},
{
"token": "跑出去",
"start_offset": 9,
"end_offset": 12,
"type": "CN_WORD",
"position": 5
},
{
"token": "震后",
"start_offset": 15,
"end_offset": 17,
"type": "CN_WORD",
"position": 6
},
{
"token": "余生",
"start_offset": 17,
"end_offset": 19,
"type": "CN_WORD",
"position": 7
}
]
}

3、Elasticsearch Java接口实现

以下是基于Jest5.3.3的接口实现。

/*
*&＃64;brief:获取分词结果接口
*&＃64;param:待分词的文章/字符串
*&＃64;return:不重复分词结果集&＃xff08;可根据实际业务场景二次开发&＃xff09;
*&＃64;date:20180704
*/
public static String IK_TYPE &＃61; "ik_smart";
public static Set<String> getIkAnalyzeSearchTerms(String searchContent) {
// 调用 IK 分词分词
JestClient client &＃61; JestHelper.getClient();
Analyze ikAnalyze &＃61; new Analyze.Builder()
.index(TEST_INDEX)
.analyzer(IK_TYPE)
.text(searchContent)
.build();

JestResult result &＃61; null;
Set<String> keySet &＃61; new HashSet<String>();
try {
result &＃61; client.execute(ikAnalyze);
JsonArray jsonArray &＃61; result.getJsonObject().getAsJsonArray("tokens");
int arraySize &＃61; jsonArray.size();
for (int i &＃61; 0; i < arraySize; &＃43;&＃43;i) {
JsonElement curKeyword &＃61; jsonArray.get(i).getAsJsonObject().get("token");
//Logger.info("rst &＃61; " &＃43; curKeyword.getAsString());
keySet.add(curKeyword.getAsString());
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}

return keySet;
}