awkbc命令linux_在Linux系统中Awk编程语言的基本知识及使用Awk命令的示例

本文介绍在Linux系统中使用Awk命令的示例&＃xff0c;及掌握Awk编程语言的基本知识&＃xff0c;这将大大提高您在命令行上操作文本文件的能力。Awk是一种用于高级文本处理的通用脚本语言&＃xff0c;它主要用作报告和分析工具。与大多数其他程序性编程语言不同&＃xff0c;Awk是数据驱动的&＃xff0c;这意味着您定义了一组针对输入文本要执行的操作&＃xff0c;它获取输入数据&＃xff0c;对其进行转换&＃xff0c;然后将结果发送到标准输出。可参考在Fedora系统下使用Awk的方法。

awk如何运作

awk有几种不同的实现&＃xff0c;我们将使用awk的GNU实现&＃xff0c;称为gawk&＃xff0c;在大多数Linux系统上&＃xff0c;awk解释器只是与gawk的符号链接。

1、记录和字段

Awk处理来自文件或流的文本数据&＃xff0c;输入数据分为记录和字段&＃xff0c;Awk一次对一条记录进行操作&＃xff0c;直到达到输入结束为止。记录由称为记录分隔符的字符分隔&＃xff0c;默认的记录分隔符是换行符&＃xff0c;这意味着文本数据中的每一行都是一条记录&＃xff0c;可以使用RS变量设置新的记录分隔符。

记录包含由字段分隔符分隔的字段&＃xff0c;默认情况下&＃xff0c;字段之间用空格分隔&＃xff0c;包括一个或多个制表符、空格和换行符。

每个记录中的字段均以美元符号($)开头&＃xff0c;后跟字段编号&＃xff0c;以1开头。第一个字段以$1表示&＃xff0c;第二个字段以$2表示&＃xff0c;依此类推&＃xff0c;最后一个字段也可以用特殊变量$NF引用&＃xff0c;整个记录可以用$0引用。

这是显示如何引用记录和字段的直观表示&＃xff1a;

2、AWK程序

要使用awk处理文本&＃xff0c;您需要编写一个程序来告诉命令该做什么&＃xff0c;该程序由一系列规则和用户定义的功能组成&＃xff0c;每个规则包含一个模式和一个动作对&＃xff0c;规则以换行符或分号(;)分隔&＃xff0c;通常&＃xff0c;awk程序如下所示&＃xff1a;

pattern { action }

pattern { action }

...

当awk处理数据时&＃xff0c;如果模式与记录匹配&＃xff0c;它将在该记录上执行指定的操作&＃xff0c;当规则没有模式时&＃xff0c;将匹配所有记录(lines)。

awk操作用大括号({})括起来&＃xff0c;并由多个语句组成&＃xff0c;每个语句指定要执行的操作&＃xff0c;一个动作可以有多个语句&＃xff0c;用换行符或分号(;)分隔&＃xff0c;如果规则不起作用&＃xff0c;则默认为打印整个记录。

Awk支持不同类型的语句&＃xff0c;包括表达式、条件、输入、输出语句等&＃xff0c;最常见的awk语句是&＃xff1a;

exit-停止执行整个程序并退出。

next-停止处理当前记录&＃xff0c;并移至输入数据中的下一个记录。

print-打印记录、字段、变量和自定义文本。

printf-使您可以更好地控制输出格式&＃xff0c;类似于C和bash printf。

编写awk程序时&＃xff0c;井号(#)之后直到该行末尾的所有内容均被视为注释&＃xff0c;可以使用连字符反斜杠(\)将长行分成多行。

3、执行awk程序

awk程序可以通过多种方式运行&＃xff0c;如果程序简短而简单&＃xff0c;则可以将其直接通过命令行传递给awk解释器&＃xff1a;

awk &＃39;program&＃39; input-file...

在命令行上运行程序时&＃xff0c;应将其括在单引号(&＃39;&＃39;)中&＃xff0c;以便Shell程序不解释程序。

如果程序又大又复杂&＃xff0c;则最好将其放在文件中&＃xff0c;并使用-f选项将文件传递给awk命令&＃xff1a;

awk -f program-file input-file...

在下面的示例中&＃xff0c;我们将使用一个名为“teams.txt”的文件&＃xff0c;该文件如下所示&＃xff1a;

Awk模式

awk中的模式控制是否应该执行关联的动作。

Awk支持不同类型的模式&＃xff0c;包括正则表达式、关系表达式、范围和特殊表达式模式。

当规则没有模式时&＃xff0c;将匹配每个输入记录&＃xff0c;这是仅包含操作的规则的示例&＃xff1a;

awk &＃39;{ print $3 }&＃39; teams.txt

该程序将打印每个记录的第三个字段&＃xff1a;

60

58

51

49

48

1、正则表达式模式

正则表达式或正则表达式是与一组字符串匹配的模式&＃xff0c;Awk正则表达式模式包含在斜杠(//)中&＃xff1a;

/regex pattern/ { action }

最基本的示例是文字字符或字符串匹配&＃xff0c;例如&＃xff0c;要显示每个包含“0.5”的记录的第一个字段&＃xff0c;您可以运行以下命令&＃xff1a;

awk &＃39;/0.5/ { print $1 }&＃39; teams.txt

返回&＃xff1a;

Celtics

Pacers

模式可以是任何类型的扩展正则表达式&＃xff0c;这是一个示例&＃xff0c;如果记录以两个或多个数字开头&＃xff0c;则打印第一个字段&＃xff1a;

awk &＃39;/^[0-9][0-9]/ { print $1 }&＃39; teams.txt

返回&＃xff1a;

76ers

2、关系表达模式

关系表达式模式通常用于匹配特定字段或变量的内容。

默认情况下&＃xff0c;正则表达式模式与记录匹配&＃xff0c;要将正则表达式与字段进行匹配&＃xff0c;请指定该字段&＃xff0c;然后对模式使用“contain”比较运算符(~)。

例如&＃xff0c;要打印每个记录的第二字段包含“ia”的第一字段&＃xff0c;请输入&＃xff1a;

awk &＃39;$2 ~ /ia/ { print $1 }&＃39; teams.txt

返回&＃xff1a;

76ers

Pacers

要匹配不包含给定模式的字段&＃xff0c;请使用!~运算符&＃xff1a;

awk &＃39;$2 !~ /ia/ { print $1 }&＃39; teams.txt

返回&＃xff1a;

Bucks

Raptors

Celtics

您可以比较字符串或数字之间的关系&＃xff0c;例如&＃xff0c;大于、小于、等于等。以下命令将打印所有第三字段大于50的记录的第一字段&＃xff1a;

awk &＃39;$3 > 50 { print $1 }&＃39; teams.txt

返回&＃xff1a;

Bucks

Raptors

76ers

3、范围模式

范围模式由用逗号分隔的两个模式组成&＃xff1a;

pattern1, pattern2

从匹配第一个模式的记录开始的所有记录&＃xff0c;直到匹配第二个模式的记录为止。

这是一个示例&＃xff0c;它将打印所有记录的第一个字段&＃xff0c;从包含“Raptors”的记录开始&＃xff0c;直到包含“Celtics”的记录&＃xff1a;

awk &＃39;/Raptors/,/Celtics/ { print $1 }&＃39; teams.txt

返回&＃xff1a;

Raptors

76ers

Celtics

模式也可以是关系表达式&＃xff0c;下面的命令将打印所有记录&＃xff0c;从第四个字段等于32的记录开始&＃xff0c;直到第四个字段等于33的记录&＃xff1a;

awk &＃39;$4 &＃61;&＃61; 31, $4 &＃61;&＃61; 33 { print $0 }&＃39; teams.txt

返回&＃xff1a;

范围模式不能与其他模式表达式结合使用。

4、特殊表达方式

Awk包括以下特殊模式&＃xff1a;

BEGIN-用于在处理记录之前执行操作。

END-用于在处理记录后执行操作。

BEGIN模式通常用于设置变量&＃xff0c;而END模式则用于处理来自记录(例如计算)的数据。

以下示例将打印“Start Processing.”&＃xff0c;然后打印每个记录的第三个字段&＃xff0c;最后打印“End Processing.”&＃xff1a;

awk &＃39;BEGIN { print "Start Processing." }; { print $3 }; END { print "End Processing." }&＃39; teams.txt

返回&＃xff1a;

Start Processing

60

58

51

49

48

End Processing.

如果程序仅具有BEGIN模式&＃xff0c;则将执行操作并且不处理输入&＃xff0c;如果程序只有END模式&＃xff0c;则在执行规则操作之前先处理输入。

GNU版本的awk还包括另外两个特殊模式BEGINFILE和ENDFILE&＃xff0c;它们使您可以在处理文件时执行操作。

5、组合模式

Awk允许您使用逻辑AND运算符(&&)和逻辑OR运算符(||)组合两个或多个模式。

这是一个使用&&运算符来打印第三字段大于50而第四字段小于30的记录的第一字段的示例&＃xff1a;

awk &＃39;$3 > 50 && $4 <30 { print $1 }&＃39; teams.txt

返回&＃xff1a;

内置变量

Awk具有许多内置变量&＃xff0c;这些变量包含有用的信息&＃xff0c;并允许您控制程序的处理方式&＃xff0c;以下是一些最常见的内置变量&＃xff1a;

NF-记录中的字段数。

NR-当前记录的编号。

FILENAME-当前正在处理的输入文件的名称。

FS-字段分隔符。

RS-记录分隔符。

OFS-输出字段分隔符。

ORS-输出记录分隔符。

这是显示如何打印文件名和行数(记录)的示例&＃xff1a;

awk &＃39;END { print "File", FILENAME, "contains", NR, "lines." }&＃39; teams.txt

返回&＃xff1a;

File teams.txt contains 5 lines.

AWK中的变量可以在程序的任何行中设置。要为整个程序定义变量&＃xff0c;应以BEGIN模式设置。

更改字段和记录分隔符

字段分隔符的默认值是任意数量的空格或制表符&＃xff0c;可以通过设置FS变量来更改。

例如&＃xff0c;将字段分隔符设置为&＃xff0c;您将使用&＃xff1a;

awk &＃39;BEGIN { FS &＃61; "." } { print $1 }&＃39; teams.txt

返回&＃xff1a;

字段分隔符也可以设置为多个字符&＃xff1a;

awk &＃39;BEGIN { FS &＃61; ".." } { print $1 }&＃39; teams.txt

在命令行上运行awk单线时&＃xff0c;还可以使用-F选项来更改字段分隔符&＃xff1a;

awk -F "." &＃39;{ print $1 }&＃39; teams.txt

默认情况下&＃xff0c;记录分隔符是换行符&＃xff0c;可以使用RS变量进行更改。

这是显示如何将记录分隔符更改为.的示例&＃xff1a;

awk &＃39;BEGIN { RS &＃61; "." } { print $1 }&＃39; teams.txt

返回&＃xff1a;

Awk动作

Awk操作用大括号({})括起来&＃xff0c;并在模式匹配时执行&＃xff0c;一个动作可以有零个或多个语句&＃xff0c;多个语句按照它们出现的顺序执行&＃xff0c;并且必须用换行符或分号(;)分隔。

awk支持多种类型的动作语句&＃xff1a;

表达式&＃xff0c;例如变量赋值、算术运算符、递增和递减运算符。

控制语句&＃xff0c;用于控制程序的流程(if、for、while、switch和more)。

输出语句&＃xff0c;例如print和printf。

复合语句&＃xff0c;将其他语句分组。

输入语句&＃xff0c;以控制输入的处理。

删除语句&＃xff0c;删除数组元素。

打印语句可能是最常用的awk语句&＃xff0c;它打印文本、记录、字段和变量的格式化输出。

打印多个项目时&＃xff0c;需要用逗号分隔&＃xff0c;这是一个例子&＃xff1a;

awk &＃39;{ print $1, $3, $5 }&＃39; teams.txt

打印的项目由单个空格分隔&＃xff1a;

如果您不使用逗号&＃xff0c;则项目之间将没有空格&＃xff1a;

awk &＃39;{ print $1 $3 $5 }&＃39; teams.txt

这些项目是串联的&＃xff1a;

当使用不带参数的print时&＃xff0c;默认情况下打印$0&＃xff0c;当前记录被打印。

要打印自定义文本&＃xff0c;必须用双引号引起来的文本&＃xff1a;

awk &＃39;{ print "The first field:", $1}&＃39; teams.txt

返回&＃xff1a;

您还可以打印特殊字符&＃xff0c;例如换行符&＃xff1a;

awk &＃39;BEGIN { print "First line\nSecond line\nThird line" }&＃39;

返回&＃xff1a;

printf语句使您可以更好地控制输出格式&＃xff0c;这是一个插入行号的示例&＃xff1a;

awk &＃39;{ printf "%3d. %s\n", NR, $0 }&＃39; teams.txt

printf不会在每条记录之后创建换行符&＃xff0c;因此我们使用\n&＃xff1a;

以下命令计算每行第三字段中存储的值的总和&＃xff1a;

awk &＃39;{ sum &＃43;&＃61; $3 } END { printf "%d\n", sum }&＃39; teams.txt

返回&＃xff1a;

266

这是另一个示例&＃xff0c;显示了如何使用表达式和控制语句来打印从1到5的数字平方&＃xff1a;

awk &＃39;BEGIN { i &＃61; 1; while (i <6) { print "Square of", i, "is", i*i; &＃43;&＃43;i } }&＃39;

返回&＃xff1a;

单行命令(如上面的命令)较难理解和维护&＃xff0c;编写更长的程序时&＃xff0c;应创建一个单独的程序文件&＃xff0c;名称prg.awk&＃xff1a;

prg.awk

BEGIN {

i &＃61; 1

while (i <6) {

print "Square of", i, "is", i*i;

&＃43;&＃43;i

}

}

通过将文件名传递给awk解释器来运行程序&＃xff1a;

awk -f prg.awk

您还可以通过使用shebang指令并设置awk解释器将awk程序作为可执行文件运行&＃xff1a;

#!/usr/bin/awk -f

BEGIN {

i &＃61; 1

while (i <6) {

print "Square of", i, "is", i*i;

&＃43;&＃43;i

}

}

保存文件并使其可执行&＃xff1a;

chmod &＃43;x prg.awk

现在&＃xff0c;您可以通过输入以下命令来运行程序&＃xff1a;

./prg.awk

在Awk程序中使用Shell变量

如果您在Shell脚本中使用awk命令&＃xff0c;则很可能需要将shell变量传递给awk程序&＃xff0c;一种选择是用双引号而不是单引号将程序引起来&＃xff0c;并在程序中替换变量&＃xff0c;但是&＃xff0c;此选项会使您的awk程序更加复杂&＃xff0c;因为您需要对awk变量进行转义。

在awk程序中使用shell变量的推荐方法是将shell变量分配给awk变量&＃xff0c;这是一个例子&＃xff1a;

num&＃61;51

awk -v n&＃61;"$num" &＃39;BEGIN {print n}&＃39;

返回&＃xff1a;

51

结语

Awk是用于文本操作的最强大的工具之一&＃xff0c;以上示例的Awk命令使用也是较为基础的。

本文介绍的Awk编程语言基本知识对于您来说非常有用&＃xff0c;因为掌握这些对于进阶Awk非常有好处&＃xff0c;也是必不可少的。

相关主题