dockerlogstash_Mysql同步数据到Elasticserach（使用logstashinputjdbc）

业务中遇到一起商务结算的大量数据&＃xff08;3亿&＃xff09;业务&＃xff0c;需要查询响应能快&＃xff0c;准备动用ES&＃xff0c;这里先完成一个初级作业。

Mysql容易搭建&＃xff0c;这里不作复述。

需要个ES-kibana的环境&＃xff0c;从系统开始搭建过程太冗长&＃xff0c;这里继续享受docker。 windows环境的docker怎么配置&＃xff0c;windows环境下 docker部署&＃xff1a;

Windows使用WSL2安装Docker​www.jianshu.com

推荐一个镜像&＃xff0c;包含了kibana&＃xff1a;elasticsearch-kibana

拉取改镜像&＃xff1a;docker pull nshou/elasticsearch-kibana

启动该镜像&＃xff1a;docker run -d -p 9200:9200 -p 5601:5601 nshou/elasticsearch-kibana

其中 9200是ES的端口&＃xff0c;5601是kibana的端口。

容器内运行成功&＃xff1a;

http://127.0.0.1:9200/ 有如下内容说明ES启动正常&＃xff1a;

http://localhost:5601/app/kibana#/home 有如下内容说明kibana启动正常&＃xff1a;

同步使用logstash-input-jdbc&＃xff0c;其中遇到一堆坑&＃xff0c;主要参照如下&＃xff1a;

https://blog.csdn.net/qq_16436555/article/details/91360718

https://www.elastic.co/guide/en/logstash/current/index.html

https://www.elastic.co/cn/blog/logstash-jdbc-input-plugin

https://www.cnblogs.com/wueryuan/p/13226469.html

为调试方便&＃xff0c;把logstash装在win环境里&＃xff1a;

1、先下载https://artifacts.elastic.co/downloads/logstash/logstash-7.8.0.zip

2、在bin路径下面执行命令logstash-plugin.bat install logstash-input-jdbc 安装。比如C:eslogstash-7.8.0bin 中间如果遇到java找不到&＃xff0c;就在setup.bat首行加路径&＃xff0c;比如SET JAVA_HOME&＃61;C:Program FilesJavajdk1.8.0_251

3、bin路径下面建文件夹sync-conf&＃xff0c;这个里面又同步sql文件和配置文件&＃xff0c;只要路径对&＃xff0c;放哪里都可以&＃xff0c;这里已bin下作示例&＃xff1a;

4、内包含如下文件&＃xff1a;

5、关键的配置文件sync.conf在启动命令行中需要用到&＃xff1a;

如果数据库中的字段类型是json或string类型&＃xff0c;但其中是json结构体&＃xff0c;可以通过如下filter同步至es&＃xff0c;直接变成结构体&＃xff1a;

其中extcol是string字段名。

logstash 支持秒级 &＃xff1a;下面是每5秒同步一次

schedule &＃61;> "*/5 * * * * *"

这里使用一个简单的Mysql数据做同步源头&＃xff0c;上图中选中部分。

6、sync.sql里放置数据查询语句&＃xff0c;这里可以写的非常复杂&＃xff0c;可以联查&＃xff0c;作为示例简单处理&＃xff1a;

7、启动同步&＃xff0c;在bin目录下&＃xff0c;命令行为 .logstash.bat -f sync-confsync.conf

周期性刷新数据说明启动运行正常&＃xff1a;

实际效果很明显&＃xff1a;

首先查询数据库里的数据&＃xff1a;

查询ES中的数据&＃xff0c;内容一致&＃xff1a;

更新数据库内的数据&＃xff0c;查询ES中的数据&＃xff0c;数据保持同步。

至此Mysql向ES的最基本的数据同步已实现。

转载请注明出处。

微服务拆分方法论请移步&＃xff1a;

丁云&＃xff1a;奇技淫巧之CQRS&＃xff1a;系统微服务拆分时的数据解耦​zhuanlan.zhihu.com

JDBC SQL 如何操作 ES&＃xff0c;请移步&＃xff1a;

丁云&＃xff1a;X-PACK JDBC连接ElasticSearch Docker图文版​zhuanlan.zhihu.com

Mycat对Mysql分片分库请移步&＃xff1a;

丁云&＃xff1a;Mycat 一致性hash分库&＃xff08;Mysql&＃xff09;​zhuanlan.zhihu.com