Logstash的五大插件

以下几个插件&＃xff0c;推荐使用Ruby插件

一、grok插件

grok插件有非常强大的功能&＃xff0c;他能匹配一切数据&＃xff0c;但是他的性能和对资源的损耗同样让人诟病。

filter{grok{#只说一个match属性&＃xff0c;他的作用是从message 字段中吧时间给抠出来&＃xff0c;并且赋值给另个一个字段logdate。#首先要说明的是&＃xff0c;所有文本数据都是在Logstash的message字段中中的&＃xff0c;我们要在过滤器里操作的数据就是message。#第二点需要明白的是grok插件是一个十分耗费资源的插件&＃xff0c;这也是为什么我只打算讲解一个TIMESTAMP_ISO8601正则表达式的原因。#第三点需要明白的是&＃xff0c;grok有超级多的预装正则表达式&＃xff0c;这里是没办法完全搞定的&＃xff0c;也许你可以从这个大神的文章中找到你需要的表达式#http://blog.csdn.net/liukuan73/article/details/52318243#但是&＃xff0c;我还是不建议使用它&＃xff0c;因为他完全可以用别的插件代替&＃xff0c;当然&＃xff0c;对于时间这个属性来说&＃xff0c;grok是非常便利的。match &＃61;> [&＃39;message&＃39;,&＃39;%{TIMESTAMP_ISO8601:logdate}&＃39;]}
}

二、mutate插件

mutate插件是用来处理数据的格式的&＃xff0c;你可以选择处理你的时间格式&＃xff0c;或者你想把一个字符串变为数字类型&＃xff08;当然需要合法&＃xff09;&＃xff0c;同样的你也可以返回去做。可以设置的转换类型 包括&＃xff1a; "integer"&＃xff0c; "float" 和 "string"。

filter {mutate {#接收一个数组&＃xff0c;其形式为value&＃xff0c;type#需要注意的是&＃xff0c;你的数据在转型的时候要合法&＃xff0c;你总是不能把一个‘abc’的字符串转换为123的。convert &＃61;> [#把request_time的值装换为浮点型"request_time", "float"&＃xff0c;#costTime的值转换为整型"costTime", "integer"]}
}

三、ruby插件

官方对ruby插件的介绍是——无所不能。ruby插件可以使用任何的ruby语法&＃xff0c;无论是逻辑判断&＃xff0c;条件语句&＃xff0c;循环语句&＃xff0c;还是对字符串的操作&＃xff0c;对EVENT对象的操作&＃xff0c;都是极其得心应手的。

filter {ruby {#ruby插件有两个属性&＃xff0c;一个init 还有一个code#init属性是用来初始化字段的&＃xff0c;你可以在这里初始化一个字段&＃xff0c;无论是什么类型的都可以&＃xff0c;这个字段只是在ruby{}作用域里面生效。#这里我初始化了一个名为field的hash字段。可以在下面的coed属性里面使用。init &＃61;> [field&＃61;{}]#code属性使用两个冒号进行标识&＃xff0c;你的所有ruby语法都可以在里面进行。#下面我对一段数据进行处理。#首先&＃xff0c;我需要在把message字段里面的值拿到&＃xff0c;并且对值进行分割按照“|”。这样分割出来的是一个数组&＃xff08;ruby的字符创处理&＃xff09;。#第二步&＃xff0c;我需要循环数组判断其值是否是我需要的数据&＃xff08;ruby条件语法、循环结构&＃xff09;#第三步&＃xff0c;我需要吧我需要的字段添加进入EVEVT对象。#第四步&＃xff0c;选取一个值&＃xff0c;进行MD5加密#什么是event对象&＃xff1f;event就是Logstash对象&＃xff0c;你可以在ruby插件的code属性里面操作他&＃xff0c;可以添加属性字段&＃xff0c;可以删除&＃xff0c;可以修改&＃xff0c;同样可以进行树脂运算。#进行MD5加密的时候&＃xff0c;需要引入对应的包。#最后把冗余的message字段去除。code &＃61;> "array&＃61;event。get(&＃39;message&＃39;).split(&＃39;|&＃39;)array.each do |value|if value.include? &＃39;MD5_VALUE&＃39;then require &＃39;digest/md5&＃39;md5&＃61;Digest::MD5.hexdigest(value)event.set(&＃39;md5&＃39;,md5)endif value.include? &＃39;DEFAULT_VALUE&＃39;thenevent.set(&＃39;value&＃39;,value)endendremove_field&＃61;>"message""}
}

四、date插件

这里需要合前面的grok插件剥离出来的值logdate配合使用&＃xff08;当然也许你不是用grok去做&＃xff09;。

filter{date{#还记得grok插件剥离出来的字段logdate吗&＃xff1f;就是在这里使用的。你可以格式化为你需要的样子&＃xff0c;至于是什么样子。就得你自己取看啦。#为什什么要格式化&＃xff1f;#对于老数据来说这非常重要&＃xff0c;应为你需要修改&＃64;timestamp字段的值&＃xff0c;如果你不修改&＃xff0c;你保存进ES的时间就是系统但前时间&＃xff08;&＃43;0时区&＃xff09;#单你格式化以后&＃xff0c;就可以通过target属性来指定到&＃64;timestamp&＃xff0c;这样你的数据的时间就会是准确的&＃xff0c;这对以你以后图表的建设来说万分重要。#最后&＃xff0c;logdate这个字段&＃xff0c;已经没有任何价值了&＃xff0c;所以我们顺手可以吧这个字段从event对象中移除。match&＃61;>["logdate","dd/MMM/yyyy:HH:mm:ss Z"]target&＃61;>"&＃64;timestamp"remove_field &＃61;> &＃39;logdate&＃39;#还需要强调的是&＃xff0c;&＃64;timestamp字段的值&＃xff0c;你是不可以随便修改的&＃xff0c;最好就按照你数据的某一个时间点来使用&＃xff0c;#如果是日志&＃xff0c;就使用grok把时间抠出来&＃xff0c;如果是数据库&＃xff0c;就指定一个字段的值来格式化&＃xff0c;比如说&＃xff1a;"timeat", "%{TIMESTAMP_ISO8601:logdate}"#timeat就是我的数据库的一个关于时间的字段。#如果没有这个字段的话&＃xff0c;千万不要试着去修改它。}
}

五、json插件

这个插件也是极其好用的一个插件&＃xff0c;现在我们的日志信息&＃xff0c;基本都是由固定的样式组成的&＃xff0c;我们可以使用json插件对其进行解析&＃xff0c;并且得到每个字段对应的值。

filter{#source指定你的哪个值是json数据。json {source &＃61;> "value"}#注意&＃xff1a;如果你的json数据是多层的&＃xff0c;那么解析出来的数据在多层结里是一个数组&＃xff0c;你可以使用ruby语法对他进行操作&＃xff0c;最终把所有数据都装换为平级的。}

json插件还是需要注意一下使用的方法的&＃xff0c;下图就是多层结构的弊端&＃xff1a;

对应的解决方案为&＃xff1a;

ruby{code&＃61;>"kv&＃61;event.get(&＃39;content&＃39;)[0]kv.each do |k,v|event.set(k,v)end"remove_field &＃61;> [&＃39;content&＃39;,&＃39;value&＃39;,&＃39;receiptNo&＃39;,&＃39;channelId&＃39;,&＃39;status&＃39;]}