filterdate日期插件

为什么要用date插件&＃xff1a;

我们希望日志展示的时间就是日志生成的时间&＃xff0c;一般日志中都会附加时间&＃xff0c;这样方便根据时间查找问题。但在logstash中&＃xff0c;默认使用&＃64;timestamp时间值来表示日志的时间&＃xff0c;&＃64;timestamp值的获取是根据logstash本身什么时候处理这条日志数据而产生的。也就是说&＃64;timestamp并不是日志中的时间&＃xff0c;所以不管日志是实时的还是非实时的日志&＃xff0c;都无法保证日志产生的精确时间。所以我们就需要使用date插件来匹配日志中产生的时间并将值赋给&＃64;timestamp&＃96;,这样最后展示的时间就是日志生成时间。

常用选项&＃xff1a;

• match
  [field,formats...],匹配日期型字段的格式&＃xff0c;并统一处理成ISO8086时间戳。

• locale
  用于指定本地语言&＃xff0c;比如设置为es,es-US等&＃xff0c;主要用于解析非数字的月和天&＃xff0c;比如Monday,Jan等。如果时间日期都是数字的话&＃xff0c;不用关心这个值。

• target
  默认&＃64;timestamp&＃xff0c;用于指定转化后的日期保存的字段名。

• timezone
  指定用于日期解析的时区规范。如果无法从值中提取时区&＃xff0c;则使用此处定义的时区。如果未指定&＃xff0c;则使用此机器上的时区
  
  

match format语法的更多详细介绍&＃xff1a;

y year

yyyy // 全年号码&＃xff0c;例如&＃xff1a;2018
yy // 两位数年份&＃xff0c;例如&＃xff1a;2018年的18

M month

M // 最小数字月份&＃xff0c;如1-12
MM // 两位数月份&＃xff0c;如01-12
MMM // 缩短的月份文本&＃xff0c;如Jan,Feb,Dec...
MMMM // 全月文本&＃xff0c;如January..

d day

d //最少数字的一天&＃xff0c;如1-31
dd //两位数日子&＃xff0c;如01-31

H hour

H //最小数字小时&＃xff0c;如0表示午夜
HH //两位数小时&＃xff0c;如果需要填零&＃xff0c;如午夜00

m minutes

m //最小数字分钟&＃xff0c;如0
mm //两位数字分钟&＃xff0c;如00

s seconds

s //最小数字秒&＃xff0c;如0
ss //最小数字秒&＃xff0c;如00

S 秒的小数部分&＃xff0c;最大精度是毫秒(SSS)。除此之外&＃xff0c;零附加

S //十分之一秒
SS //百分之一秒
SSS //千分之一秒

Z 时区偏移或身份。不能被分析

Z //时区偏移&＃xff0c;如&＃43;0800
ZZ //时区偏移&＃xff0c;如&＃43;08:00
ZZZ //时区身份&＃xff0c;如America/Los_Angeles

W 一年中的一周

W //最小数字周&＃xff0c;如1
WW //两位数字周&＃xff0c;如01

E 一周中的天

E,EE,EEE //星期几缩写&＃xff0c;如Mon,Tue,Wed...
EEEE //星期几全拼&＃xff0c;如Monday,Tuesday...

例&＃xff1a; 如果想要解析ISO8601的时间"2018-01-01T01:12:23",可以写成"yyyy-MM-dd&＃39;T&＃39;HH:mm:ss"

示例&＃xff1a;
匹配nginx日志中的时间。

[root&＃64;node2006 logstash]# cat text.conf
input {stdin {}
}filter {dissect {mapping &＃61;> {"message" &＃61;> "[%{time}]|%{remote_addr}|%{verb} %{request} HTTP/%{httpversion}|%{status}|%{body_bytes_sent}"}remove_field &＃61;> [ "request_all" ]remove_field &＃61;> [ "message" ]}
# date {
# match &＃61;> [ "time", "dd/MMM/yyyy:HH:mm:ss Z" ]
# locale &＃61;> "en"
# target &＃61;> "&＃64;timestamp"
# }}
output {stdout{codec &＃61;> rubydebug}
}


未添加date插件(注释date代码块)&＃xff1a;


[root&＃64;node2006 logstash]# bin/logstash -f text.conf
[21/Jan/2019:14:59:49 &＃43;0800]|183.212.160.154|GET /siteapp/regionInfoApp/regions HTTP/1.1|502|166 #提供的一行nginx日志数据
....
{"body_bytes_sent" &＃61;> "166","time" &＃61;> "21/Jan/2019:14:59:49 &＃43;0800", #这个是匹配的time字段"&＃64;timestamp" &＃61;> 2019-01-23T06:57:40.923Z, #这个是logstash处理这条日志的时间&＃xff0c;我们肯定需要logstash处理的时间"host" &＃61;> "node2006","remote_addr" &＃61;> "183.212.160.154","&＃64;version" &＃61;> "1","status" &＃61;> "502","httpversion" &＃61;> "1.1","verb" &＃61;> "GET","request" &＃61;> "/siteapp/regionInfoApp/regions"
}


增加date插件(打开date代码块注释)&＃xff1a;

[root&＃64;node2006 logstash]# bin/logstash -f text.conf
[21/Jan/2019:14:59:49 &＃43;0800]|183.212.160.154|GET /siteapp/regionInfoApp/regions HTTP/1.1|502|166
...
{"remote_addr" &＃61;> "183.212.160.154", "status" &＃61;> "502","body_bytes_sent" &＃61;> "166","httpversion" &＃61;> "1.1","&＃64;timestamp" &＃61;> 2019-01-21T06:59:49.000Z, #timestamp的时间和time的年月日已经相同了&＃xff0c;只是小时比time少了8小时&＃xff0c;因为logstash将timestamp改成了UTC时间&＃xff0c;原time时间是UTC&＃43;8,但不用担心&＃xff0c;在kibana上&＃xff0c;会将此时间根据你系统时进行自动调整显示。"time" &＃61;> "21/Jan/2019:14:59:49 &＃43;0800", #"host" &＃61;> "node2006","verb" &＃61;> "GET","request" &＃61;> "/siteapp/regionInfoApp/regions","&＃64;version" &＃61;> "1"
}

QA:
问&＃xff1a;为什么一定要在logstash中将日志中获取到的时间转换成UTC时间&＃xff0c;然后在kibana在根据实际时间在转换回来。直接使用日志的时间不可以吗&＃xff1f;非要转换UTC时间然后再转换成展示时间。
答(个人见解)&＃xff1a;估计是为了当日志系统跨越多个时区时&＃xff0c;方便统一查询才把时间进行统一转换。这样在UTC &＃43;0700时区发生的事故&＃xff0c;但是人在UTC &＃43;0800时区的时间看的肯定以当地时间来看待事故发生的时间并查询日志。这样就不用考虑跨时区日志时间的问题了。