索引到ElasticSearch的最快方法是什么？

我们一直在使用ElasticSearch 2.x.除了一个弱点之外,一切都完全符合我们的要求:写入/索引到ElasticSearch集群的性能不是很好.

在我们的例子中,我们有8个节点ES集群,它是我们在ES中放置的100~字段宽的索引.索引速率约为每分钟50,000,这对我们的场景来说太慢了.我们尝试了www.elastic.co推荐的所有调整方法.我们发现的最快方法是将json有效负载构造为文件,然后使用批量API将它们转储到ES中.但是,索引速度仍然太慢.

我见过一些ES-Hadoop连接器,弹性搜索也有火花支持,你可以使用saveToES()将RDD保存到ES.我怀疑他们都在下面使用ES批量API.任何人都可以分享一些经验吗？在ElasticSearch中编写索引的最快方法是什么？

无论你在ES之外使用什么第三方工具,一切都需要使用ES方式放入数据.无论是Spark,Logstash,你自己的应用程序都需要以某种方式使用批量或索引API.这里没有后门魔法.