58同城的Elasticsearch应用与平台构建实践

### 58同城Elasticsearch应用与平台构建
#### 分享概览
- **分享人**：于伯伟，58同城高级架构师
- **编辑整理**：陈树昌
- **来源**：DataFunTalk

#### 引言
Elasticsearch是一种强大的分布式搜索和分析引擎，适用于全文检索、结构化查询和数据分析等场景。它基于Lucene构建，是当前最受欢迎的开源搜索引擎之一。58同城不仅在其主要搜索引擎中使用Elasticsearch，还在内部创新搜索业务和大规模实时OLAP（在线分析处理）中广泛应用。

#### 集群优化与管理
- **背景**：初期，58同城各部门自行维护Elasticsearch，随着使用频率和重要性的提升，数据库团队接手了全公司的Elasticsearch管理，面临多种挑战，如复杂的使用场景、版本不统一、缺乏监控等问题。
- **常见问题**：
- **磁盘空间不足**：索引泛滥、缺乏生命周期管理、分片设置不当等。
- **写入性能下降**：索引设计不合理、分片过多、副本设置不当等。
- **应对措施**：
- 实施严格的索引管理和权限控制。
- 优化索引生命周期，及时清理不再需要的数据。
- 合理规划分片数量，避免单个分片过大。
- 日志类索引按天或更细粒度划分。
- 不同集群避免共享同一服务器节点。

#### 典型应用案例
- **ELKB日志管理方案**：利用Elasticsearch、Logstash、Kibana和Beats组成的日志管理框架，实现日志的收集、存储和可视化。
- **实时日志平台**：通过Flume和Filebeat收集日志，Kafka缓存，Logstash过滤，最终存储于Elasticsearch，并通过Kibana展示。
- **MySQL实时慢日志系统**：通过Filebeat收集MySQL慢日志，经Logstash处理后存储至Elasticsearch，支持实时查看和分析。

#### 平台化建设
- **用户端**：提供Elasticsearch的查询、统计和状态监控等功能。
- **管理端**：实现Elasticsearch集群的一键部署和索引治理。
- **监控与报警**：使用Zabbix + Grafana进行集群监控和报警。

#### 未来规划
- **版本升级**：计划升级至Elasticsearch 7.X，以利用其性能优化特性。
- **智能诊断**：开发自动化的故障检测和处理机制。
- **私有云探索**：优化资源配置，提高资源利用率。

#### 问答环节
- **数据同步**：Hadoop或Hive数据可通过官方组件或自定义程序同步至Elasticsearch。
- **日志格式定义**：使用Filebeat的多行合并功能和Logstash的过滤规则处理复杂日志。
- **MySQL数据同步**：通过业务层双写、DataX或Canal等工具实现MySQL数据的实时同步。
- **二级索引**：采用类似MySQL回表查询的方式，在Elasticsearch中存储相关记录ID，查询后再从MySQL或HBase中获取完整数据。

### 嘉宾介绍
- **姓名**：于伯伟
- **职位**：58同城高级架构师
- **职责**：负责58同城数据库部门，提供高可靠、高性能的数据库服务，涵盖MySQL、Redis、MongoDB、TiDB和Elasticsearch等数据库类型。