Logstash日志插件开发总结(1)

logstash介绍

Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。其工作流程如下：

它处理数据有3个阶段

• Input
• Filter
• Output

• input 数据输入端，可以接收来自任何地方的源数据

• Filter 数据中转层，主要进行格式处理，数据类型转换、数据过滤、字段添加，修改等，常用的过滤器如下

• output 是logstash工作的最后一个阶段，负责将数据输出到指定位置，兼容大多数应用

安装下载参考文档：http://blog.csdn.net/u010246789/article/details/52086799

注意：在window中，用bin/logstash.agent -f logstash 命令来启动logstash

Logstash插件介绍

FileInput插件介绍

FileInput插件是经常用到的输入插件，主要从文本中提取数据，然后经过一系列的Filter插件过滤和处理后，把数据再传递到Output插件，然后对数据进行输出，这主要介绍FilterInput插件的配置参数，可以参照官网。

这个是FileInput插件读取的详细参数

下面来介绍几个常用到的Filter插件

KV插件

KV插件设置一定的格式，来读取字段中的键值对

其中有两个比较重要的参数，如下：

• field_split
• value_split

field_split为两个键值对间的分隔符，而value_split则是两个key,value之间的分隔符

若要切割的字段如下：
message=”messagid=123&name=logstash”
kv的配置如下：
kv{
source=>”message”
field_split =>”&”
value_split =>”=”
}
则message会把切割成
messageid=”123”
name=”logstash”

multiline插件

mutile插件的主要作用是根据正则表达式，把多条事件合并或者切割成一条，详细了解请点击：mutiline插件详解:http://www.cnblogs.com/liuning8023/archive/2016/06/01/5549366.html

mutate插件

mutate插件可以把一些字符串替换成别的字符串，通过gsub来实现。或者通过split来切割不同的字符串

mutate {
gsub=>[“message”, “\n”, “$”]
split=>[“message”,”keyword”]
}

这样配置，message会把message字段中的\n替换成$,并且根据keyword把messageqi切割字符串，通过[message][0]，[message][1]来获取字段。

Output插件WebHDFS介绍

webhdfs插件主要是把日志上传到HDFS文件系统中，其格式为：

webhdfs{
host => “127.0.0.1”
port => 50070
user => “hadoop”
path => “/logstash/data”
codec => plain
{
charset=>”UTF-8”
format=>”%{message}”
}
}

下一篇将介绍插件的详细开发步骤