fluentdmysql_使用fluentd实时收到nginx日志到mysql数据库

前言

本篇介绍如何使用fluentd把nginx的log日志读取&＃xff0c;并且解析成为一个一个MySQL的字段&＃xff0c;最后存储到mysql的数据库中。

环境

我用的是aws的ec2&＃xff0c;操作系统是amazon定制的Amazon Linux AMI

安装fluentd

使用root用户

curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh

安装完毕后&＃xff0c;在/usr/sbin/下会有td-agent &＃xff0c; td-agent-gem &＃xff0c;td-agent-ui三个可执行文件。其中td-agent-gem用来安装之外的fluent的插件。

配置文件在/etc/td-agent/td-agent.conf

启动fluentd命令集合

/etc/init.d/td-agent start

/etc/init.d/td-agent stop

/etc/init.d/td-agent restart

/etc/init.d/td-agent status

log可以在/var/log/td-agent/td-agent.log查看

编辑fluentd配置文件

定义一个source&＃xff0c;读取nginx的log文件

&＃64;type tail

path /tmp/nginx.log

pos_file /var/log/td-agent/nginx.log.pos

tag nginx.access

format /^(?[^ ]*) - (?[^ ]*) \[(?[^\]]*)\] "(?\S&＃43;)(?: &＃43;(?[^\"]*) &＃43;\S*)?" (?[^ ]*) (?[^ ]*)(?: "(?[^\"]*)" "(?[^\"]*)" "(?[^\"]*)" "(?[^\"]*)" "(?[^\"]*)" "(?[^\"]*)")?$/

time_format %d/%b/%Y:%H:%M:%S %z

注意&＃xff1a;format的地方需要根据自己的nginx的log的格式进行相应的调整

接下去定义一个写入到mysql的match。

&＃64;type mysql_bulk

host your_host

database your_db

username your_username

password your_password

column_names remote,host,user,method,path,code,size,referer,agent,country,city,http_x_forwarded_for,log_time

key_names remote,host,user,method,path,code,size,referer,agent,country,city,http_x_forwarded_for,${time}

table nginx_access

flush_interval 10s

附上mysql的建表语句

CREATE TABLE &＃96;nginx_access&＃96; (

&＃96;id&＃96; int(11) NOT NULL AUTO_INCREMENT,

&＃96;remote&＃96; text,

&＃96;host&＃96; text,

&＃96;user&＃96; text,

&＃96;method&＃96; text,

&＃96;path&＃96; text,

&＃96;code&＃96; text,

&＃96;size&＃96; text,

&＃96;referer&＃96; text,

&＃96;agent&＃96; text,

&＃96;country&＃96; text,

&＃96;city&＃96; text,

&＃96;http_x_forwarded_for&＃96; text,

&＃96;log_time&＃96; timestamp NULL DEFAULT NULL,

PRIMARY KEY (&＃96;id&＃96;)

) ENGINE&＃61;InnoDB;

安装mysql_bulk的插件

从https://github.com/tagomoris/fluent-plugin-mysql克隆下项目。由于我用的fluentd是0.12版本&＃xff0c;所以对应的fluent-plugin-mysql的版本是v0.1.5&＃xff0c;所以Git checkout v0.1.5。

进行gem build fluent-plugin-mysql.gemspec生成.gem文件。

然后用/usr/sbin/td-agent-gem install fluent-plugin-mysql-0.1.5.gem命令来安装插件。

如果安装插件失败的话&＃xff0c;很大可能是没有mysql-devel。

mysql client is missing. You may need to &＃39;apt-get install libmysqlclient-dev&＃39; or &＃39;yum install mysql-devel&＃39;, and try again.

所以先执行yum install mysql-devel。

[root&＃64;x fluent-plugin-mysql]# /usr/sbin/td-agent-gem install fluent-plugin-mysql-0.1.5.gem

Building native extensions. This could take a while...

Successfully installed mysql2-0.4.9

Fetching: mysql2-cs-bind-0.0.6.gem (100%)

Successfully installed mysql2-cs-bind-0.0.6

Fetching: jsonpath-0.8.7.gem (100%)

Successfully installed jsonpath-0.8.7

Successfully installed fluent-plugin-mysql-0.1.5

Parsing documentation for mysql2-0.4.9

Installing ri documentation for mysql2-0.4.9

Parsing documentation for mysql2-cs-bind-0.0.6

Installing ri documentation for mysql2-cs-bind-0.0.6

Parsing documentation for jsonpath-0.8.7

Installing ri documentation for jsonpath-0.8.7

Parsing documentation for fluent-plugin-mysql-0.1.5

Installing ri documentation for fluent-plugin-mysql-0.1.5

Done installing documentation for mysql2, mysql2-cs-bind, jsonpath, fluent-plugin-mysql after 0 seconds

4 gems installed

结语

可能遇到的坑总结一下&＃xff1a;

gem命令的时候&＃xff0c;需要使用/usr/sbin/td-agent-gem&＃xff0c;td-agent使用的是这个环境的gem依赖

ruby安装mysql的插件的时候&＃xff0c;需要mysql-devel&＃xff0c;否则会报错

nginx的log format可能根据自己的情况调整

source文件的tail需要该输入文件的目录权限是755