开源搜索平台选型：ElasticSearch、Solr

由于系统积累的数据量越来越多（如访问日志、log4j打印的日志等）且散布在各应用的各服务器中，使得日志的查看、存储管理变得非常复杂，不得不去各机器上查找与存储管理。有没有一种平台可以省心地查找并集中存储管理好这些日志呢？经过选型比对，我们最终通过引入搜索平台来查找、管理这些日志数据。

搜索平台有许多，但用的比较多的开源系统就属ElasticSearch、Solr，这两个搜索引擎都是基于建立在全文搜索引擎 Apache Lucene™ 基础上的。

一、Elasticsearch简介
Elasticsearch使用Lucene作为内部引擎，基于restfull风格的分布式实时搜索引擎，可以轻松地通过客户端或者任何你喜欢的程序语言(如 java)与Elasticsearch的RESTful API进行交流。Elasticsearch的上手是非常简单的。它附带了很多非常合理的默认值，这让初学者很好地避免一上手就要面对复杂的理论。它不但包括了全文搜索功能，还可以进行以下工作:
a. 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索；
b. 实时分析的分布式搜索引擎；
c. 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。

优点
Elasticsearch是分布式的。不需要其他组件，分发是实时的，被叫做”Push replication”。
Elasticsearch 完全支持 Apache Lucene 的接近实时的搜索。
处理多租户（multitenancy）不需要特殊配置，而Solr则需要更多的高级设置。
Elasticsearch 采用 Gateway 的概念，使得完备份更加简单。
各节点组成对等的网络结构，某些节点出现故障时会自动分配其他节点代替其进行工作。

缺点
只有一名开发者（当前Elasticsearch GitHub组织已经不只如此，已经有了相当活跃的维护者）
还不够自动（不适合当前新的Index Warmup API）

案例：
1. 维基百科使用Elasticsearch来进行全文搜做并高亮显示关键词，以及提供search-as-you-type、did-you-mean等搜索建议功能。
2. 英国卫报使用Elasticsearch来处理访客日志，以便能将公众对不同文章的反应实时地反馈给各位编辑。
3. StackOverflow将全文搜索与地理位置和相关信息进行结合，以提供more-like-this相关问题的展现。
4. GitHub使用Elasticsearch来检索超过1300亿行代码。
5. 每天，Goldman Sachs使用它来处理5TB数据的索引，还有很多投行使用它来分析股票市场的变动。
但是Elasticsearch并不只是面向大型企业的，它还帮助了很多类似DataDog以及Klout的创业公司进行了功能的扩展。

二、Solr简介
Solr（读作“solar”）是Apache Lucene项目的开源企业搜索平台。其主要功能包括全文检索、命中标示、分面搜索、动态聚类、数据库集成，以及富文本（如Word、PDF）的处理。Solr是高度可扩展的，并提供了分布式搜索和索引复制。Solr是最流行的企业级搜索引擎，Solr4 还增加了NoSQL支持。
Solr是用Java编写、运行在Servlet容器（如 Apache Tomcat 或Jetty）的一个独立的全文搜索服务器。 Solr采用了 Lucene Java 搜索库为核心的全文索引和搜索，并具有类似REST的HTTP/XML和JSON的API。Solr强大的外部配置功能使得无需进行Java编码，便可对 其进行调整以适应多种类型的应用程序。Solr有一个插件架构，以支持更多的高级定制。
因为2010年 Apache Lucene 和 Apache Solr 项目合并，两个项目是由同一个Apache软件基金会开发团队制作实现的。

优点
Solr有一个更大、更成熟的用户、开发和贡献者社区。
支持添加多种格式的索引，如：HTML、PDF、微软 Office 系列软件格式以及 JSON、XML、CSV 等纯文本格式。
Solr比较成熟、稳定。
不考虑建索引的同时进行搜索，速度更快。

缺点
建立索引时，搜索效率下降，实时索引搜索效率不高。

三、对比
1. 当单纯的对已有数据进行搜索时，Solr更快。
2. 当实时建立索引时, Solr会产生io阻塞，查询性能较差, Elasticsearch具有明显的优势。
3. 随着数据量的增加，Solr的搜索效率会变得更低，而Elasticsearch却没有明显的变化。

综上所述，Elasticsearch、Solr应用场景各不相同，Solr的不适合实时搜索的应用，而Elasticsearch可实时建立索引且随着数据量的增加搜索效率没有明显的降低。结合目前流行的使用案例，我们最终选择了Elasticsearch + Logstash + Kibana。