linux分析nginx日志,LinuxAwk使用案例总结nginx日志统计

Nginx日志分析(截图和文字日志格式不同)

日志格式&＃xff1a;&＃39;$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"&＃39;

日志记录&＃xff1a;27.189.231.39 - - [09/Apr/2016:17:21:23 &＃43;0800] "GET /Public/index/images/icon_pre.png HTTP/1.1" 200 44668 "http://www.test.com/Public/index/css/global.css" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36" “-“

方法2&＃xff1a;$ awk &＃39;{print $1}&＃39; access.log |sort |uniq -c |sort -k1 -nr |head -n10

说明&＃xff1a;a[$1]&＃43;&＃43; 创建数组a&＃xff0c;以第一列作为下标&＃xff0c;使用运算符&＃43;&＃43;作为数组元素&＃xff0c;元素初始值为0。处理一个IP时&＃xff0c;下标是IP&＃xff0c;元素加1&＃xff0c;处理第二个IP时&＃xff0c;下标是IP&＃xff0c;元素加1&＃xff0c;如果这个IP已经存在&＃xff0c;则元素再加1&＃xff0c;也就是这个IP出现了两次&＃xff0c;元素结果是2&＃xff0c;以此类推。因此可以实现去重&＃xff0c;统计出现次数。

3)统计2017年11月15日一天内访问最多的10个IP

思路&＃xff1a;先过滤出这个时间段的日志&＃xff0c;然后去重&＃xff0c;统计出现次数

方法1&＃xff1a;$ awk &＃39;$4>&＃61;"[9/Apr/2016:00:00:01" && $4<&＃61;"[9/Apr/2016:23:59:59" {a[$1]&＃43;&＃43;}END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}&＃39; access.log

方法2&＃xff1a;$ sed -n &＃39;/\[9\/Apr\/2016:00:00:01/,/\[9\/Apr\/2016:23:59:59/p&＃39; access.log |sort |uniq -c |sort -k1 -nr |head -n10 #前提开始时间与结束时间日志中必须存在

$ grep -c $(date -d &＃39;-1 minute&＃39; &＃43;%d/%b/%Y:%H:%M) access.log

说明&＃xff1a;date &＃43;%d/%b/%Y:%H:%M --> 09/Apr/2016:01:55

7)统计每个IP访问状态码数量($status)

$ awk &＃39;{a[$1" "$9]&＃43;&＃43;}END{for(i in a)print i,a[i]}’ access.log

var cpro_id = "u6885494";