linux文本分析命令,linux基础命令介绍八：文本分析awk

awk是一种模式扫描和处理语言&＃xff0c;在对数据进行分析处理时&＃xff0c;是十分强大的工具。

awk [options] &＃39;pattern {action}&＃39; file...

awk的工作过程是这样的&＃xff1a;按行读取输入(标准输入或文件)&＃xff0c;对于符合模式pattern的行&＃xff0c;执行action。当pattern省略时表示匹配任何字符串&＃xff1b;当action省略时表示执行&＃39;{print}&＃39;&＃xff1b;它们不可以同时省略。

每一行输入&＃xff0c;对awk来说都是一条记录(record)&＃xff0c;awk使用$0来引用当前记录&＃xff1a;

[root&＃64;centos7 ~]# head -1 /etc/passwd | awk &＃39;{print $0}&＃39;

root:x:0:0:root:/root:/bin/bash

例子中将命令head -1 /etc/passwd作为awk的输入&＃xff0c;awk省略了pattern&＃xff0c;action为print $0&＃xff0c;意为打印当前记录。

对于每条记录&＃xff0c;awk使用分隔符将其分割成列&＃xff0c;第一列用$1表示&＃xff0c;第二列用$2表示...最后一列用$NF表示

选项-F表示指定分隔符

如输出文件/etc/passwd第一行第一列(用户名)和最后一列(登录shell)&＃xff1a;

[root&＃64;centos7 ~]# head -1 /etc/passwd | awk -F: &＃39;{print $1,$NF}&＃39;

root /bin/bash

当没有指定分隔符时&＃xff0c;使用一到多个blank(空白字符&＃xff0c;由空格键或TAB键产生)作为分隔符。输出的分隔符默认为空格。

如输出命令ls -l *的结果中&＃xff0c;文件大小和文件名&＃xff1a;

[root&＃64;centos7 temp]# ls -l * | awk &＃39;{print $5,$NF}&＃39;

13 b.txt

58 c.txt

12 d.txt

0 e.txt

0 f.txt

24 test.sh

[root&＃64;centos7 temp]#

还可以对任意列进行过滤&＃xff1a;

[root&＃64;centos7 temp]# ls -l *|awk &＃39;$5>20 && $NF ~ /txt$/&＃39;

-rw-r--r-- 1 nobody nobody 58 11月 16 16:34 c.txt

其中$5>20表示第五列的值大于20&＃xff1b;&&表示逻辑与&＃xff1b;$NF ~ /txt$/中&＃xff0c;~表示匹配&＃xff0c;符号//内部是正则表达式。这里省略了action&＃xff0c;整条awk语句表示打印文件大小大于20字节并且文件名以txt结尾的行。

awk用NR表示行号

[root&＃64;centos7 temp]# awk &＃39;/^root/ || NR&＃61;&＃61;2&＃39; /etc/passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

[root&＃64;centos7 temp]#

例子中||表示逻辑或&＃xff0c;语句表示&＃xff1a;输出文件/etc/passwd中以root开头的行或者第二行。

在一些情况下&＃xff0c;使用awk过滤甚至比使用grep更灵活

如获得ifconfig的输出中网卡名及其对应的mtu值

[root&＃64;idc-v-71253 ~]# ifconfig|awk &＃39;/^\S/{print $1"\t"$NF}&＃39;

ens32: 1500

ens33: 1500

lo: 65536

[root&＃64;idc-v-71253 ~]#

#这里的正则表示不以空白字符开头的行&＃xff0c;输出内容中使用\t进行了格式化。

以上所说的NR、NF等都是awk的内建变量&＃xff0c;下面列出部分常用内置变量

$0 当前记录(这个变量中存放着整个行的内容)

$1~$n 当前记录的第n个字段&＃xff0c;字段间由FS分隔

FS 输入字段分隔符 默认是空格或Tab

NF 当前记录中的字段个数&＃xff0c;就是有多少列

NR 行号&＃xff0c;从1开始&＃xff0c;如果有多个文件话&＃xff0c;这个值也不断累加。

FNR 输入文件行号

RS 输入的记录分隔符&＃xff0c; 默认为换行符

OFS 输出字段分隔符&＃xff0c; 默认也是空格

ORS 输出的记录分隔符&＃xff0c;默认为换行符

FILENAME 当前输入文件的名字

awk中还可以使用自定义变量&＃xff0c;如将网卡名赋值给变量a&＃xff0c;然后输出网卡名及其对应的RX bytes的值(注意不同模式匹配及其action的写法)&＃xff1a;

[root&＃64;idc-v-71253 ~]# ifconfig|awk &＃39;/^\S/{a&＃61;$1}/RX p/{print a,$5}&＃39;

ens32: 999477100

ens33: 1663197120

lo: 0

awk中有两个特殊的pattern&＃xff1a;BEGIN和END&＃xff1b;它们不会对输入文本进行匹配&＃xff0c;BEGIN对应的action部分组合成一个代码块&＃xff0c;在任何输入开始之前执行&＃xff1b;END对应的action部分组合成一个代码块&＃xff0c;在所有输入处理完成之后执行。

#注意类似于C语言的赋值及print函数用法

[root&＃64;centos7 temp]# ls -l *|awk &＃39;BEGIN{print "size name\n---------"}$5>20{x&＃43;&＃61;$5;print $5,$NF}END{print "---------\ntotal",x}&＃39;

size name

---------

58 c.txt

24 test.sh

---------

total 82

[root&＃64;centos7 temp]#

awk还支持数组&＃xff0c;数组的索引都被视为字符串(即关联数组)&＃xff0c;可以使用for循环遍历数组元素

如输出文件/etc/passwd中各种登录shell及其总数量

#注意数组赋值及for循环遍历数组的写法

[root&＃64;centos7 temp]# awk -F &＃39;:&＃39; &＃39;{a[$NF]&＃43;&＃43;}END{for(i in a) print i,a[i]}&＃39; /etc/passwd

/bin/sync 1

/bin/bash 2

/sbin/nologin 19

/sbin/halt 1

/sbin/shutdown 1

[root&＃64;centos7 temp]#

当然也有if分支语句

#注意大括号是如何界定action块的

[root&＃64;centos7 temp]# netstat -antp|awk &＃39;{if($6&＃61;&＃61;"LISTEN"){x&＃43;&＃43;}else{y&＃43;&＃43;}}END{print x,y}&＃39;

6 3

[root&＃64;centos7 temp]#

pattern之间可以用逗号分隔&＃xff0c;表示从匹配第一个模式开始直到匹配第二个模式

[root&＃64;centos7 ~]# awk &＃39;/^root/,/^adm/&＃39; /etc/passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

还支持三目操作符pattern1 ? pattern2 : pattern3&＃xff0c;表示判断pattern1是否匹配&＃xff0c;true则匹配pattern2&＃xff0c;false则匹配pattern3&＃xff0c;pattern也可以是类似C语言的表达式。

如判断文件/etc/passwd中UID大于500的登录shell是否为/bin/bash&＃xff0c;是则输出整行&＃xff0c;否则输出UID为0的行&＃xff1a;

#注意为避免混淆对目录分隔符进行了转义

[root&＃64;centos7 ~]# awk -F: &＃39;$3>500?/\/bin\/bash$/:$3&＃61;&＃61;0 {print $0}&＃39; /etc/passwd

root:x:0:0:root:/root:/bin/bash

learner:x:1000:1000::/home/learner:/bin/bash

#三目运算符也可以嵌套&＃xff0c;例子略

选项-f file表示从file中读取awk指令

#打印斐波那契数列前十项

[root&＃64;centos7 temp]# cat test.awk

BEGIN{

$1&＃61;1

$2&＃61;1

OFS&＃61;","

for(i&＃61;3;i<&＃61;10;i&＃43;&＃43;)

{

$i&＃61;$(i-2)&＃43;$(i-1)

}

print

}

[root&＃64;centos7 temp]# awk -f test.awk

1,1,2,3,5,8,13,21,34,55

[root&＃64;centos7 temp]#

选项-F指定列分隔符

#多个字符作为分隔符时

[root&＃64;centos7 temp]# echo 1.2,3:4 5|awk -F &＃39;[., :]&＃39; &＃39;{print $2,$NF}&＃39;

2 5

[root&＃64;centos7 temp]#

#这里-F后单引号中的内容也是正则表达式

选项-v var&＃61;val设定变量

#这里printf函数用法类似C语言同名函数

[root&＃64;centos7 ~]# awk -v n&＃61;5 &＃39;BEGIN{for(i&＃61;0;i

00

01

02

03

04

[root&＃64;centos7 ~]#

print等函数还支持使用重定向符>和>>将输出保存至文件

#如按第一列(IP)分类拆分文件access.log&＃xff0c;并保存至ip.txt文件中

[root&＃64;centos7 temp]# awk &＃39;{print > $1".txt"}&＃39; access.log

[root&＃64;centos7 temp]# ls -l 172.20.71.*

-rw-r--r-- 1 root root 5297 11月 22 21:33 172.20.71.38.txt

-rw-r--r-- 1 root root 1236 11月 22 21:33 172.20.71.39.txt

-rw-r--r-- 1 root root 4533 11月 22 21:33 172.20.71.84.txt

-rw-r--r-- 1 root root 2328 11月 22 21:33 172.20.71.85.txt

内建函数

length()获得字符串长度

[root&＃64;centos7 temp]# awk -F: &＃39;{if(length($1)>&＃61;16)print}&＃39; /etc/passwd

systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin

[root&＃64;centos7 temp]#

split()将字符串按分隔符分隔&＃xff0c;并保存至数组

[root&＃64;centos7 temp]# head -1 /etc/passwd|awk &＃39;{split($0,arr,/:/);for(i&＃61;1;i<&＃61;length(arr);i&＃43;&＃43;) print arr[i]}&＃39;

root

x

0

0

root

/root

/bin/bash

[root&＃64;centos7 temp]#

getline从输入(可以是管道、另一个文件或当前文件的下一行)中获得记录&＃xff0c;赋值给变量或重置某些环境变量

#从shell命令date中通过管道获得当前的小时数

[root&＃64;centos7 temp]# awk &＃39;BEGIN{"date"|getline;split($5,arr,/:/);print arr[1]}&＃39;

09

#从文件中获取&＃xff0c;此时会覆盖当前的$0。(注意逐行处理b.txt的同时也在逐行从c.txt中获得记录并覆盖$0&＃xff0c;当getline先遇到eof时将输出空行)

[root&＃64;centos7 temp]# awk &＃39;{getline

"https://segmentfault.com/blog/learnning"

[root&＃64;centos7 temp]#

#赋值给变量

[root&＃64;centos7 temp]# awk &＃39;{getline blog

aasdasdadsad

BLOG ADDRESS IS "https://segmentfault.com/blog/learnning"

[root&＃64;centos7 temp]#

#读取下一行(也会覆盖当前$0)

[root&＃64;centos7 temp]# cat file

anny

100

bob

150

cindy

120

[root&＃64;centos7 temp]# awk &＃39;{getline;total&＃43;&＃61;$0}END{print total}&＃39; file

370

#此时表示只对偶数行进行处理

next作用和getline类似&＃xff0c;也是读取下一行并覆盖$0&＃xff0c;区别是next执行后&＃xff0c;其后的命令不再执行&＃xff0c;而是读取下一行从头再执行。

#跳过以a-s开头的行&＃xff0c;统计行数&＃xff0c;打印最终结果

[root&＃64;centos7 temp]# awk &＃39;/^[a-s]/{next}{count&＃43;&＃43;}END{print count}&＃39; /etc/passwd

2

[root&＃64;centos7 temp]#

#又如合并相同列的两个文件

[root&＃64;centos7 temp]# cat f.txt

学号 分值

00001 80

00002 75

00003 90

[root&＃64;centos7 temp]# cat e.txt

姓名 学号

张三 00001

李四 00002

王五 00003

[root&＃64;centos7 temp]# awk &＃39;NR&＃61;&＃61;FNR{a[$1]&＃61;$2;next}{print $0,a[$2]}&＃39; f.txt e.txt

姓名 学号 分值

张三 00001 80

李四 00002 75

王五 00003 90

#这里当读第一个文件时NR&＃61;&＃61;FNR成立&＃xff0c;执行a[$1]&＃61;$2&＃xff0c;然后next忽略后面的。读取第二个文件时&＃xff0c;NR&＃61;&＃61;FNR不成立&＃xff0c;执行后面的打印命令

sub(regex,substr,string)替换字符串string(省略时为$0)中首个出现匹配正则regex的子串substr

[root&＃64;centos7 temp]# echo 178278 world|awk &＃39;sub(/[0-9]&＃43;/,"hello")&＃39;

hello world

[root&＃64;centos7 temp]#

gsub(regex,substr,string)与sub()类似&＃xff0c;但不止替换第一个&＃xff0c;而是全局替换

[root&＃64;centos7 temp]# head -n5 /etc/passwd|awk &＃39;{gsub(/[0-9]&＃43;/,"----");print $0}&＃39;

root:x:----:----:root:/root:/bin/bash

bin:x:----:----:bin:/bin:/sbin/nologin

daemon:x:----:----:daemon:/sbin:/sbin/nologin

adm:x:----:----:adm:/var/adm:/sbin/nologin

lp:x:----:----:lp:/var/spool/lpd:/sbin/nologin

substr(str,n,m)切割字符串str&＃xff0c;从第n个字符开始&＃xff0c;切割m个。如果m省略&＃xff0c;则到结尾

[root&＃64;centos7 temp]# echo "hello,世界&＃xff01;"|awk &＃39;{print substr($0,8,1)}&＃39;

界

[root&＃64;centos7 temp]#

tolower(str)和toupper(str)表示大小写转换

[root&＃64;centos7 temp]# echo "hello,世界&＃xff01;"|awk &＃39;{A&＃61;toupper($0);print A}&＃39;

HELLO,世界&＃xff01;

[root&＃64;centos7 temp]#

system(cmd)执行shell命令cmd&＃xff0c;返回执行结果&＃xff0c;执行成功为0&＃xff0c;失败为非0

#此处if语句判断和C语言一致&＃xff0c;0为false&＃xff0c;非0为true

[root&＃64;centos7 temp]# awk &＃39;BEGIN{if(!system("date>/dev/null"))print "success"}&＃39;

success

[root&＃64;centos7 temp]#

match(str,regex)返回字符串str中匹配正则regex的位置

[root&＃64;centos7 temp]# awk &＃39;BEGIN{A&＃61;match("abc.f.11.12.1.98",/[0-9]{1,3}\./);print A}&＃39;

7

[root&＃64;centos7 temp]#

awk作为一个编程语言可以处理各种各样的问题&＃xff0c;甚至于编写应用软件&＃xff0c;但它更常用的地方是命令行下的文本分析&＃xff0c;生成报表等&＃xff0c;这些场景下awk工作的很好。工作中如经常有文本分析的需求&＃xff0c;那么掌握这个命令的用法将为你节省大量的时间。