windows安装logstach进行同步mysql到Elasticsearch

工作需要&＃xff0c;要同步mysql数据到Elasticsearch&＃xff0c;比较好的方案是使用logstach&＃xff0c;还需要安装一个logstash-input-jdbc插件来进行同步

先从官网下载logstach&＃xff0c;注意版本一定要一致&＃xff0c;不然不支持

下载后解压&＃xff0c;进入bin目录

新建一个logstash.conf文件&＃xff0c;文件名随意取&＃xff0c;启动正确到自己文件名就行。我这里是新建了一个mysql文件夹&＃xff0c;再新建的一个mysql.conf

如果出现以下错误&＃xff0c;有可能是这些问题&＃xff1a;mysql.cnf文件编码格式很严格&＃xff0c;必须是UTF-8无BOM模式编码的&＃xff0c;而且内容对空格等要求也很严格&＃xff0c;换行后的文件内容必须是tab的空格&＃xff0c;键盘空格键不行&＃xff08;自己测试的&＃xff09;

如果新建的文件不是&＃xff0c;可以使用notpad&＃43;&＃43;进行转换

mysql.conf配置&＃xff1a;

input {jdbc {jdbc_driver_library &＃61;> "D:\repository\mysql\mysql-connector-java\5.1.40\mysql-connector-java-5.1.40.jar"jdbc_driver_class &＃61;> "com.mysql.jdbc.Driver"jdbc_connection_string &＃61;> "jdbc:mysql://xxx.xxx.xxx.xx:3306/mypinyu?useUnicode&＃61;true&characterEncoding&＃61;UTF-8&allowMultiQueries&＃61;true&useSSL&＃61;false"jdbc_user &＃61;> "root"jdbc_password &＃61;> "Goodlan&＃64;123"# 定时器 多久执行一次SQL&＃xff0c;默认是一分钟schedule &＃61;> "* * * * *"#是否清除 last_run_metadata_path 的记录,如果为真那么每次都相当于从头开始查询所有的数据库记录clean_run &＃61;> "false"#或者以下方式指定sql文件 :sql_last_value为1970-01-01 00:00:00statement &＃61;> "SELECT * FROM sys_user" # 执行的sql 文件路径&＃43;名称#statement_filepath &＃61;> "C:\Users\admin\Desktop\logstash-5.0.2\bin\mysql\jdbc.sql"jdbc_paging_enabled &＃61;> "true"jdbc_page_size &＃61;> "100000"# 索引类型type &＃61;> "jdbc"}stdin{}
} #filter { json { source &＃61;> "message" remove_field &＃61;> ["message"] } }output {elasticsearch { hosts &＃61;> "localhost:9200"index&＃61;> "mypinyu"document_id &＃61;> "%{id}"}stdout{# JSON格式输出codec &＃61;> "json_lines"}
}

hosts:elasticsearch的地址

index:同步数据过来的索引名称

安装logstash-input-jdbc:

进入logstach/bin目录

命令:.\logstash-plugin.bat install logstash-input-jdbc

出现以下内容标识安装成功

启动logstach:

可以直接输入命令&＃xff0c;也可以创建文件的方式

命令输入:logstash -f C:\Users\admin\Desktop\logstash-5.0.2\bin\mysql\mysql.conf

我是新建了一个run.bat文件来启动&＃xff0c;方便点

run.bat文件内容就是  logstash -f C:\Users\admin\Desktop\logstash-5.0.2\bin\mysql\mysql.conf

双击run.bat

数据同步&＃xff1a;

同步方式可以增量同步&＃xff0c;也可以全量

自己配置即可。

到此完成mysql和elasticsearch的数据同步