logstash抓取日志到mysql_Logstash将数据导入至MYSQL

Logstash 版本&＃xff1a;6.2.4

Logstash 经常做的事情&＃xff0c;是将日志文件进行解析&＃xff0c;并且导入至 ElasticSearch 中

但是目前碰到的问题是&＃xff0c;怎么将数据导入至 DB 中&＃xff0c;比如 MYSQL。

这就需要下面这个神器了&＃xff01;

JDBC output for Logstash

首先&＃xff0c;安装 Logstash 6.2.4&＃xff0c;并确保 JDK 的版本是 1.8。

然后进入 Logstash 目录&＃xff0c;安装插件 logstash-output-jdbc&＃xff0c;执行以下命令&＃xff1a;

bin/logstash-plugin install logstash-output-jdbc

JDBC 插件依赖 mysql-connector-java-5.1.46 包&＃xff0c;So&＃xff0c;我们去官网下载吧

提供了两种格式的包文件&＃xff1a;

1、mysql-connector-java-5.1.46.tar.gz

2、mysql-connector-java-5.1.46.zip

这里随便下一个&＃xff0c;然后解压。

至于解压后的文件放哪儿&＃xff0c;这里有两种方式&＃xff1a;

1、在 Logstash 目录下&＃xff0c;创建目录&＃xff1a;/vendor/jar/jdbc&＃xff0c;将 mysql-connector-java-5.1.46-bin.jar 文件放在里面&＃xff0c;默认就能找到 mysql-connector-java-5.1.46-bin.jar&＃xff0c;不需要配置参数 driver_jar_path。

2、放在任意目录&＃xff0c;但是要配置参数 driver_jar_path &＃xff0c;确保能找到 mysql-connector-java-5.1.46-bin.jar 文件

OK&＃xff0c;我们来测试一下

首先&＃xff0c;创建配置文件&＃xff1a;Logstash.conf

input {

stdin{}

}

filter{

json{

source &＃61;> "message"

}

}

output {

stdout{

codec&＃61;>rubydebug{}

}

jdbc {

driver_jar_path &＃61;> "/xxxxxxx/mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar"

driver_class &＃61;> "com.mysql.jdbc.Driver"

connection_string &＃61;> "jdbc:mysql://数据库IP:数据库端口/数据库名称?user&＃61;数据库的用户名&password&＃61;数据库的密码"

statement &＃61;> [ "INSERT INTO test (name, age) VALUES(?, ?)", "test_name", "test_age" ]

}

}

注意&＃xff1a;JDBC 模块中还可以配置一些其他参数&＃xff0c;如&＃xff1a;connection_timeout&＃xff0c;可以参考 Github 上的文档。

然后&＃xff0c;我们来运行一下 logstash

./bin/logstash -f logstash.conf

由于 input 输入是标准输入&＃xff0c;我这里在命令行里输入&＃xff1a;

{"test_name":"feblilac","test_age":"18"}

Logstash 输出&＃xff1a;

{

"&＃64;timestamp" &＃61;> 2018-05-14T08:14:44.069Z,

"user_age" &＃61;> "18",

"host" &＃61;> "dev01v.mg.corp.qihoo.net",

"&＃64;version" &＃61;> "1",

"message" &＃61;> "{\"test_name\":\"feblilac\",\"test_age\":\"18\"}",

"user_name" &＃61;> "feblilac"

}

让我们看看数据库吧&＃xff1a;

瞧&＃xff0c;数据进来了&＃xff01;

后记&＃xff1a;至于其他 DB&＃xff0c;这里没有进行测试&＃xff0c;大家可以参考 logstash-output-jdbc/examples/ 目录下的例子