Lucene，Solr和Elasticsearch中的印度尼西亚语言

对于西方人来说&＃xff0c;印尼语&＃xff08;或印尼语&＃xff09;是一种非常平易近人的语言。 它使用拉丁字符&＃xff0c;结构清晰&＃xff0c;没有时态&＃xff0c;没有性别或复数形式&＃xff0c;并且包含许多外来词&＃xff08;作为德国人&＃xff0c;我特别喜欢荷兰语的影响词&＃xff0c;例如排气管 knalpot &＃xff09;。 如果您在亚洲以外的地方长大&＃xff0c;对于您来说印尼可能是一个遥远的国家&＃xff0c;您可能不会听说很多。 但是由于这个国家很大&＃xff0c;实际上有很多人在讲这种语言&＃xff0c;并与它的兄弟姐妹Bahasa Melayu一起使用&＃xff0c; 这是地球上最常见的语言之一 。 如果这还不够的话&＃xff0c;那么一旦您访问印度尼西亚&＃xff0c;您就会发现他们的人民非常积极和快乐。 可能是对该语言感兴趣的另一个原因。

由于我已经学习了一些印尼语&＃xff0c;并且不得不花很多时间在印尼工作和休闲&＃xff0c;所以我认为研究一下Lucene印尼分析器并查看其如何处理文本可能是个好主意。 如果您不知道分析器是什么&＃xff0c;我可以指出您关于索引数据绝对基础的一篇较早的文章。

Lucene的印度尼西亚分析器

如果您想使用IndonesianAnalyzer&＃xff0c;它可以与lucene-analyzers-common一起使用&＃xff0c;您很可能已经将其包括在内。 您可以只创建一个实例并以自己喜欢的任何方式使用它。 此代码片段将显示字符串中文本的术语。

private List analyze(String text) throws IOException {List terms &＃61; new ArrayList<>();try(Analyzer analyzer &＃61; new IndonesianAnalyzer();TokenStream tokenStream &＃61; analyzer.tokenStream(null, text)) {tokenStream.reset();while (tokenStream.incrementToken()) {terms.add(tokenStream.getAttribute(CharTermAttribute.class).toString());}}return terms;
}

弹性搜索中的印尼分析器

IndonesianAnalyzer也可以与elasticsearch一起使用。 在映射中&＃xff0c;您可以通过分析器名称indonesian来引用它。

{ "mappings": {"doc": {"properties": {"content": {"type": "text", "analyzer": "indonesian"} }}}
}

elasticsearch文档在分析器上也有一节&＃xff0c;说明如何使用不同的过滤器重建它。

Solr中的印度尼西亚分析器

大多数时候&＃xff0c;您将在Solr中创建自己的分析器链。 这来自参考指南。

分析仪的功能

首先让我们看一个非常简单的例句。

Saya mau makan mie ayam。

我想吃鸡肉面条。 您不仅了解了我喜欢印尼美食&＃xff0c;而且还看到印尼语使用拉丁字符并用空格分隔单词。 让我们看看IndonesianAnalyzer对这段文本的处理方式。

如果您查看上面的Lucene示例产生的术语&＃xff0c;您将获得以下列表。

[makan, mie, ayam]

因此&＃xff0c;仅剩五个词中的三个。 Saya &＃xff08;I&＃xff09;和mau &＃xff08;想要&＃xff09;被删除。 这是由默认的停用词列表引起的&＃xff0c;停用词在搜索时被认为并不重要。 这些单词将保留在分析仪随附的文本文件中。 如果你想为你的内容使用不同的列表&＃xff0c;你可以使用一个接受一个构造函数CharArraySet &＃xff0c;为elasticsearch和Solr你可以使用自定义的StopFilter。

现在&＃xff0c;其余单词保持不变&＃xff0c;没有词干涉及&＃xff0c;这是通过将术语简化为基本形式来处理自然语言的一种常用方法。 让我们看另一个例子。

卡米&＃xff08;Kami&＃xff09;&＃xff0c;邦萨&＃xff08;Bangsa&＃xff09;印尼&＃xff0c;印尼&＃xff08;Dengan ini menjatakan kemerdekaan Indonesia&＃xff09;。

这是1945年宣布的印度尼西亚独立宣言的第一句话。我们印度尼西亚人民在这里宣布印度尼西亚独立。

如果使用分析器处理此文本&＃xff0c;则将获得以下术语列表。

[bangsa, indonesia, jata, merdeka, indonesia]

再次&＃xff0c;像kami &＃xff0c; dengan &＃xff0c; ini这样的词已被删除&＃xff0c;就像停用词列表中的一样。 但是其他事情发生了。 Menjatakan变成了jata &＃xff0c; kemerdekaan变成了merdeka 。 印尼语没有动词词尾变化&＃xff0c;但是有许多前缀和后缀可以改变单词的含义。 在这种情况下kemerdekaan&＃xff08;独立&＃xff09;是默迪卡 &＃xff08;独立&＃xff09;的变化。 有很多前缀和后缀。 makan是吃 &＃xff0c; makanan是食物 。 minum是喝 &＃xff0c; minuman是喝 。 SAMA是一样的 &＃xff0c;是bersama 一起 。 IndonesianAnalyzer将正确地阻止这些示例&＃xff08;即使sama和bersama是停用词&＃xff09;。

实作

像大多数分析器一样&＃xff0c;IndonesianAnalyzer仅合并了一些其他组件&＃xff0c;即令牌生成器和服务器令牌过滤器。

• StandardTokenizer
• 标准过滤器
• 小写过滤器
• 停止过滤器
• SetKeywordMarkerFilter
• 印尼语干式过滤器

IndonesianStemFilter是引起词干的有趣组件。 它使用了基于本文的IndonesianStemmer&＃xff0c;该论文基于印度尼西亚语的词干对信息检索的影响研究 。

与大多数其他基于规则的词干一样&＃xff0c;某些单词可能无法正确词干。 例如&＃xff1a; menunggu表示等待 &＃xff0c;它源于unggu &＃xff0c;但是正确的基本形式是tunggu 。 如果要消除此类情况&＃xff0c;可以将单词添加到stemExclusionSet &＃xff0c;然后可以将其传递到分析器中以防止它们被阻止。 或者&＃xff0c;您可以构建自己的使用StemmerOverrideFilter的分析器-也许这是另一篇博客文章的材料。

计分

评分搜索结果时&＃xff0c;印度尼西亚语&＃xff08;Bahasa Indonesia&＃xff09;提出了一个有趣的挑战。 诸如TF / IDF和BM25之类的评分算法依赖于词频。 但是在印尼语中&＃xff0c;通常只需重复一个单词就可以形成复数形式。 美孚意思是汽车 - 美孚意思是汽车 。 但是&＃xff0c;如果一篇文字谈到一辆或多辆汽车&＃xff0c;在计分方面没有什么不同。 根据要搜索的文本&＃xff0c;可能有必要忽略频率–或编写自定义过滤器来跳过立即重复的单词。

结论

词根并不是在每个搜索应用程序中都占有一席之地。 但这是可以帮助使自然语言更易于访问而又不太复杂的技术之一。 它可以使您的搜索看起来像魔术。

当使用搜索引擎时&＃xff0c;使用自然语言是我非常喜欢的一件事。 而且&＃xff0c;如果像在这种情况下那样&＃xff0c;我正在学习一些更好的语言知识。

翻译自: https://www.javacodegeeks.com/2018/03/indonesian-language-in-lucene-solr-and-elasticsearch.html