linux下grep分析apache日志的命令集合linux下grep分析apache日志的命令集合，不可错过的好文章，有了这些命令，秒杀江湖中大部分的apache日志分析。www.2cto.com实例：月份英文简写英文全称一月Jan.January二...
linux下grep分析apache日志的命令集合
linux下grep分析apache日志的命令集合，不可错过的好文章，有了这些命令，秒杀江湖中大部分的apache日志分析。
www.2cto.com
实例：
月份英文简写英文全称
一月Jan.January
二月Feb.February
三月Mar.March
四月Apr.April
五月May.May
六月June.June
七月July.July
八月Aug.Aguest
九月Sept.September
十月Oct.October
十一月Nov.November
十二月Dec.December
www.2cto.com
日志分析整理 Grep 日志整理
1.分析日志文件下 2012-05-04 访问页面最高 的前20个 URL 并排序
cat access.log |grep &＃39;04/May/2012&＃39;| awk &＃39;{print $11}&＃39;|sort|uniq -c|sort -nr|head -20
查询受访问页面的URL地址中 含有 www.abc.com 网址的 IP 地址
cat access_log | awk &＃39;($11~/\www.abc.com/){print $1}&＃39;|sort|uniq -c|sort -nr
2. 获取访问最高的10个IP地址 同时也可以按时间来查询
cat linewow-access.log|awk &＃39;{print $1}&＃39;|sort|uniq -c|sort -nr|head -10
1.获得访问前10位的ip地址
cat access.log|awk &＃39;{print $1}&＃39;|sort|uniq -c|sort -nr|head -10
cat access.log|awk &＃39;{counts[$(11)]+=1}; END {for(url in counts) print counts[url], url}&＃39;
2.访问次数最多的文件或页面,取前20及统计所有访问IP
cat access.log|awk &＃39;{print $11}&＃39;|sort|uniq -c|sort -nr|head -20
awk &＃39;{ print $1}&＃39; access.log |sort -n -r |uniq -c|wc -l
cat wangsu.log | egrep &＃39;06/Sep/2012:14:35|06/Sep/2012:15:05&＃39; |awk &＃39;{print $1}&＃39;|sort|uniq -c|sort -nr|head -10 查询日志中 时间段内的情况
3.列出传输最大的几个exe文件（分析
下载站的时候常用）
cat access.log |awk &＃39;($7~/\.exe/){print $10 " " $1 " " $4 " " $7}&＃39;|sort -nr|head -20
4.列出输出大于200000byte(约200kb)的exe文件以及对应文件发生次数
cat access.log |awk &＃39;($10 > 200000 && $7~/\.exe/){print $7}&＃39;|sort -n|uniq -c|sort -nr|head -100
5.如果日志最后一列记录的是页面文件传输时间，则有列出到客户端最耗时的页面
cat access.log |awk &＃39;($7~/\.php/){print $NF " " $1 " " $4 " " $7}&＃39;|sort -nr|head -100
6.列出最最耗时的页面(超过60秒的)的以及对应页面发生次数
cat access.log |awk &＃39;($NF > 60 && $7~/\.php/){print $7}&＃39;|sort -n|uniq -c|sort -nr|head -100
7.列出传输时间超过 30 秒的文件
cat access.log |awk &＃39;($NF > 30){print $7}&＃39;|sort -n|uniq -c|sort -nr|head -20
8.统计网站流量（G)
cat access.log |awk &＃39;{sum+=$10} END {print sum/1024/1024/1024}&＃39;
9.统计404的连接
awk &＃39;($9 ~/404/)&＃39; access.log | awk &＃39;{print $9,$7}&＃39; | sort
10. 统计http status.
cat access.log |awk &＃39;{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}&＃39;
cat access.log |awk &＃39;{print $9}&＃39;|sort|uniq -c|sort -rn
11.每秒并发：
awk &＃39;{if($9~/200|30|404/)COUNT[$4]++}END{for( a in COUNT) print a,COUNT[a]}&＃39;|sort -k 2 -nr|head -n10
12.带宽统计
cat apache.log |awk &＃39;{if($7~/GET/) count++}END{print "client_request="count}&＃39;
cat apache.log |awk &＃39;{BYTE+=$11}END{print "client_kbyte_out="BYTE/1024"KB"}&＃39;
找出某天访问次数最多的10个IP
cat /tmp/access.log | grep "20/Mar/2011" |awk &＃39;{print $3}&＃39;|sort |uniq -c|sort -nr|head
当天ip连接数最高的ip都在干些什么:
cat access.log | grep "10.0.21.17" | awk &＃39;{print $8}&＃39; | sort | uniq -c | sort -nr | head -n 10
找出访问次数最多的几个分钟
awk &＃39;{print $1}&＃39; access.log | grep "20/Mar/2011" |cut -c 14-18|sort|uniq -c|sort -nr|head
附：查看tcp连接状态
netstat -nat |awk &＃39;{print $6}&＃39;|sort|uniq -c|sort -rn
netstat -n | awk &＃39;/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}&＃39;
netstat -n | awk &＃39;/^tcp/ {++state[$NF]}; END {for(key in state) print key,"\t",state[key]}&＃39;
netstat -n | awk &＃39;/^tcp/ {++arr[$NF]};END {for(k in arr) print k,"\t",arr[k]}&＃39;
netstat -n |awk &＃39;/^tcp/ {print $NF}&＃39;|sort|uniq -c|sort -rn
netstat -ant | awk &＃39;{print $NF}&＃39; | grep -v &＃39;[a-z]&＃39; | sort | uniq -c
netstat -ant|awk &＃39;/ip:80/{split($5,ip,":");++S[ip[1]]}END{for (a in S) print S[a],a}&＃39; |sort -n
netstat -ant|awk &＃39;/:80/{split($5,ip,":");++S[ip[1]]}END{for (a in S) print S[a],a}&＃39; |sort -rn|head -n 10
awk &＃39;BEGIN{printf ("http_code\tcount_num\n")}{COUNT[$10]++}END{for (a in COUNT) printf a"\t\t"COUNT[a]"\n"}&＃39;
2.查找请求数请20个IP（常用于查找攻来源）：
netstat -anlp|grep 80|grep tcp|awk &＃39;{print $5}&＃39;|awk -F: &＃39;{print $1}&＃39;|sort|uniq -c|sort -nr|head -n20
netstat -ant |awk &＃39;/:80/{split($5,ip,":");++A[ip[1]]}END{for(i in A) print A[i],i}&＃39; |sort -rn|head -n20
3.用tcpdump嗅探80端口的访问看看谁最高
tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." &＃39;{print $1"."$2"."$3"."$4}&＃39; | sort | uniq -c | sort -nr |head -20
4.查找较多time_wait连接
netstat -n|grep TIME_WAIT|awk &＃39;{print $5}&＃39;|sort|uniq -c|sort -rn|head -n20
5.找查较多的SYN连接
netstat -an | grep SYN | awk &＃39;{print $5}&＃39; | awk -F: &＃39;{print $1}&＃39; | sort | uniq -c | sort -nr | more
6.根据端口列进程
netstat -ntlp | grep 80 | awk &＃39;{print $7}&＃39; | cut -d/ -f1
京公网安备 11010802041100号