【Shell】sed实例之第一部分

http://www.ibm.com/developerworks/cn/linux/shell/sed/sed-1/index.html

挑选编辑器
在 UNIX 世界中有很多文本编辑器可供我们选择。思考一下 -- vi、emacs 和 jed 以及很多其它工具都会浮现在脑海中。我们都有自己已逐渐了解并且喜爱的编辑器&＃xff08;以及我们喜爱的组合键&＃xff09;。有了可信赖的编辑器&＃xff0c;我们可以轻松处理任何数量与 UNIX 有关的管理或编程任务。

虽然交互式编辑器很棒&＃xff0c;但却有其限制。尽管其交互式特性可以成为强项&＃xff0c;但也有其不足之处。考虑一下需要对一组文件执行类似更改的情形。您可能会本能地运行自己所喜爱的编辑器&＃xff0c;然后手工执行一组烦琐、重复和耗时的编辑任务。然而&＃xff0c;有一种更好的方法。

进入 sed
如果可以使编辑文件的过程自动化&＃xff0c;以便用“批处理”方式编辑文件&＃xff0c;甚至编写可以对现有文件进行复杂更改的脚本&＃xff0c;那将太好了。幸运的是&＃xff0c;对于这种情况&＃xff0c;有一种更好的方法 -- 这种更好的方法称为 "sed"。

sed 是一种几乎包括在所有 UNIX 平台&＃xff08;包括 Linux&＃xff09;的轻量级流编辑器。sed 有许多很好的特性。首先&＃xff0c;它相当小巧&＃xff0c;通常要比您所喜爱的脚本语言小很多倍。其次&＃xff0c;因为 sed 是一种流编辑器&＃xff0c;所以&＃xff0c;它可以对从如管道这样的标准输入接收的数据进行编辑。因此&＃xff0c;无需将要编辑的数据存储在磁盘上的文件中。因为可以轻易将数据管道输出到 sed&＃xff0c;所以&＃xff0c;将 sed 用作强大的 shell 脚本中长而复杂的管道很容易。试一下用您所喜爱的编辑器去那样做。

GNU sed
对 Linux 用户来说幸运的是&＃xff0c;最好的 sed 版本之一恰好是 GNU sed&＃xff0c;其当前版本是 3.02。每一个 Linux 发行版都有&＃xff08;或至少应该有&＃xff09;GNU sed。GNU sed 之所以流行不仅因为可以自由分发其源代码&＃xff0c;还因为它恰巧有许多对 POSIX sed 标准便利、省时的扩展。另外&＃xff0c;GNU 没有 sed 早期专门版本的很多限制&＃xff0c;如行长度限制 -- GNU 可以轻松处理任意长度的行。

最新的 GNU sed
在研究这篇文章之时我注意到&＃xff1a;几个在线 sed 爱好者提到 GNU sed 3.02a。奇怪的是&＃xff0c;在ftp.gnu.org&＃xff08;有关这些链接&＃xff0c;请参阅参考资料&＃xff09;上找不到 sed 3.02a&＃xff0c;所以&＃xff0c;我只得在别处寻找。我在alpha.gnu.org 的 /pub/sed 中找到了它。于是我高兴地将其下载、编译然后安装&＃xff0c;而几分钟后我发现最新的 sed 版本却是 3.02.80 -- 可在alpha.gnu.org 上 3.02a 源代码旁边找到其源代码。安装完 GNU sed 3.02.80 之后&＃xff0c;我就完全准备好了。

alpha.gnu.org
alpha.gnu.org&＃xff08;请参阅参考资料&＃xff09;是新的和实验性 GNU 源代码的所在地。然而&＃xff0c;您还会在那里发现许多优秀、稳定的源代码。出于某种原因&＃xff0c;不是许多 GNU 开发人员忘记将稳定的源代码移至 ftp.gnu.org&＃xff0c;就是它们的 "beta" 期间格外长&＃xff08;2 年&＃xff01;&＃xff09;。例如&＃xff0c;sed 3.02a 已有两年&＃xff0c;甚至 3.02.80 也有一年&＃xff0c;但它们仍不能&＃xff08;在 2000 年 8 月写本文章时&＃xff09;在 ftp.gnu.org 上获得。

正确的 sed
在本系列中&＃xff0c;将使用 GNU sed 3.02.80。在即将出现的本系列后续文章中&＃xff0c;某些&＃xff08;但非常少&＃xff09;最高级的示例将不能在 GNU sed 3.02 或 3.02a 中使用。如果您使用的不是 GNU sed&＃xff0c;那么结果可能会不同。现在为什么不花些时间安装 GNU sed 3.02.80 呢&＃xff1f;那样&＃xff0c;不仅可以为本系列的余下部分作好准备&＃xff0c;而且还可以使用可能是目前最好的 sed。

sed 示例
sed 通过对输入数据执行任意数量用户指定的编辑操作&＃xff08;“命令”&＃xff09;来工作。sed 是基于行的&＃xff0c;因此按顺序对每一行执行命令。然后&＃xff0c;sed 将其结果写入标准输出 (stdout)&＃xff0c;它不修改任何输入文件。

让我们看一些示例。头几个会有些奇怪&＃xff0c;因为我要用它们演示 sed 如何工作&＃xff0c;而不是执行任何有用的任务。然而&＃xff0c;如果您是 sed 新手&＃xff0c;那么理解它们是十分重要的。下面是第一个示例&＃xff1a;


$ sed -e &＃39;d&＃39; /etc/services





如果输入该命令&＃xff0c;将得不到任何输出。那么&＃xff0c;发生了什么&＃xff1f;在该例中&＃xff0c;用一个编辑命令 &＃39;d&＃39; 调用 sed。sed 打开 /etc/services 文件&＃xff0c;将一行读入其模式缓冲区&＃xff0c;执行编辑命令&＃xff08;“删除行”&＃xff09;&＃xff0c;然后打印模式缓冲区&＃xff08;缓冲区已为空&＃xff09;。然后&＃xff0c;它对后面的每一行重复这些步骤。这不会产生输出&＃xff0c;因为 "d" 命令除去了模式缓冲区中的每一行&＃xff01;

在该例中&＃xff0c;还有几件事要注意。首先&＃xff0c;根本没有修改 /etc/services。这还是因为 sed 只读取在命令行指定的文件&＃xff0c;将其用作输入 -- 它不试图修改该文件。第二件要注意的事是 sed 是面向行的。&＃39;d&＃39; 命令不是简单地告诉 sed 一下子删除所有输入数据。相反&＃xff0c;sed 逐行将 /etc/services 的每一行读入其称为模式缓冲区的内部缓冲区。一旦将一行读入模式缓冲区&＃xff0c;它就执行 &＃39;d&＃39; 命令&＃xff0c;然后打印模式缓冲区的内容&＃xff08;在本例中没有内容&＃xff09;。我将在后面为您演示如何使用地址范围来控制将命令应用到哪些行 -- 但是&＃xff0c;如果不使用地址&＃xff0c;命令将应用到所有行。

第三件要注意的事是括起 &＃39;d&＃39; 命令的单引号的用法。养成使用单引号来括起 sed 命令的习惯是个好注意&＃xff0c;这样可以禁用 shell 扩展。

另一个 sed 示例
下面是使用 sed 从输出流除去 /etc/services 文件第一行的示例&＃xff1a;


$ sed -e &＃39;1d&＃39; /etc/services | more





如您所见&＃xff0c;除了前面有 &＃39;1&＃39; 之外&＃xff0c;该命令与第一个 &＃39;d&＃39; 命令十分类似。如果您猜到 &＃39;1&＃39; 指的是第一行&＃xff0c;那您就猜对了。与第一个示例中只使用 &＃39;d&＃39; 不同的是&＃xff0c;这一次使用的 &＃39;d&＃39; 前面有一个可选的数字地址。通过使用地址&＃xff0c;可以告诉 sed 只对某一或某些特定行进行编辑。

地址范围
现在&＃xff0c;让我们看一下如何指定地址范围。在本例中&＃xff0c;sed 将删除输出的第 1 到 10 行&＃xff1a;


$ sed -e &＃39;1,10d&＃39; /etc/services | more





当用逗号将两个地址分开时&＃xff0c;sed 将把后面的命令应用到从第一个地址开始、到第二个地址结束的范围。在本例中&＃xff0c;将 &＃39;d&＃39; 命令应用到第 1 到 10 行&＃xff08;包括这两行&＃xff09;。所有其它行都被忽略。

带规则表达式的地址
现在演示一个更有用的示例。假设要查看 /etc/services 文件的内容&＃xff0c;但是对查看其中包括的注释部分不感兴趣。如您所知&＃xff0c;可以通过以 &＃39;#&＃39; 字符开头的行在 /etc/services 文件中放置注释。为了避免注释&＃xff0c;我们希望 sed 删除以 &＃39;#&＃39; 开始的行。以下是具体做法&＃xff1a;


$ sed -e &＃39;/^#/d&＃39; /etc/services | more





试一下该例&＃xff0c;看看发生了什么。您将注意到&＃xff0c;sed 成功完成了预期任务。现在&＃xff0c;让我们分析发生的情况。

要理解 &＃39;/^#/d&＃39; 命令&＃xff0c;首先需要对其剖析。首先&＃xff0c;让我们除去 &＃39;d&＃39; -- 这是我们前面所使用的同一个删除行命令。新增加的是 &＃39;/^#/&＃39; 部分&＃xff0c;它是一种新的规则表达式地址。规则表达式地址总是由斜杠括起。它们指定一种 模式&＃xff0c;紧跟在规则表达式地址之后的命令将仅适用于正好与该特定模式匹配的行。

因此&＃xff0c;&＃39;/^#/&＃39; 是一个规则表达式。但是&＃xff0c;它做些什么呢&＃xff1f;很明显&＃xff0c;现在该复习规则表达式了。

规则表达式复习
可以使用规则表达式来表示可能会在文本中发现的模式。您在 shell 命令行中用过 &＃39;*&＃39; 字符吗&＃xff1f;这种用法与规则表达式类似&＃xff0c;但并不相同。下面是可以在规则表达式中使用的特殊字符&＃xff1a;

字符 描述
与行首匹配
与行末尾匹配
与任一个字符匹配
将与前一个字符的零或多个出现匹配
[ ] 与 [ ] 之内的所有字符匹配

感受规则表达式的最好方法可能是看几个示例。所有这些示例都将被 sed 作为合法地址接受&＃xff0c;这些地址出现在命令的左边。下面是几个示例&＃xff1a;

规则
表达式 描述
/./ 将与包含至少一个字符的任何行匹配
/../ 将与包含至少两个字符的任何行匹配
/^#/ 将与以 &＃39;#&＃39; 开始的任何行匹配
/^$/ 将与所有空行匹配

/}$/ 将与以 &＃39;}&＃39;&＃xff08;无空格&＃xff09;结束的任何行匹配
/} *$/ 将与以 &＃39;}&＃39; 后面跟有零或多个空格结束的任何行匹配

/[abc]/ 将与包含小写 &＃39;a&＃39;、&＃39;b&＃39; 或 &＃39;c&＃39; 的任何行匹配
/^[abc]/ 将与以 &＃39;a&＃39;、&＃39;b&＃39; 或 &＃39;c&＃39;开始的任何行匹配

在这些示例中&＃xff0c;鼓励您尝试几个。花一些时间熟悉规则表达式&＃xff0c;然后尝试几个自己创建的规则表达式。可以如下使用 regexp&＃xff1a;


$ sed -e &＃39;/regexp/d&＃39; /path/to/my/test/file | more





这将导致 sed 删除任何匹配的行。然而&＃xff0c;通过告诉 sed打印 regexp 匹配并删除不匹配的内容&＃xff0c;而不是与之相反的方法&＃xff0c;会更有利于熟悉规则表达式。可以用以下命令这样做&＃xff1a;


$ sed -n -e &＃39;/regexp/p&＃39; /path/to/my/test/file | more





请注意新的 &＃39;-n&＃39; 选项&＃xff0c;该选项告诉 sed 除非明确要求打印模式空间&＃xff0c;否则不这样做。您还会注意到&＃xff0c;我们用 &＃39;p&＃39; 命令替换了 &＃39;d&＃39; 命令&＃xff0c;如您所猜想的那样&＃xff0c;这明确要求 sed 打印模式空间。就这样&＃xff0c;将只打印匹配部分。

有关地址的更多内容
目前为止&＃xff0c;我们已经看到了行地址、行范围地址和 regexp 地址。但是&＃xff0c;还有更多的可能。我们可以指定两个用逗号分开的规则表达式&＃xff0c;sed 将与所有从匹配第一个规则表达式的第一行开始&＃xff0c;到匹配第二个规则表达式的行结束&＃xff08;包括该行&＃xff09;的所有行匹配。例如&＃xff0c;以下命令将打印从包含 "BEGIN" 的行开始&＃xff0c;并且以包含 "END" 的行结束的文本块&＃xff1a;


$ sed -n -e &＃39;/BEGIN/,/END/p&＃39; /my/test/file | more





如果没发现 "BEGIN"&＃xff0c;那么将不打印数据。如果发现了 "BEGIN"&＃xff0c;但是在这之后的所有行中都没发现 "END"&＃xff0c;那么将打印所有后续行。发生这种情况是因为 sed 面向流的特性 -- 它不知道是否会出现 "END"。

C 源代码示例
如果只要打印 C 源文件中的 main() 函数&＃xff0c;可输入&＃xff1a;


$ sed -n -e &＃39;/main[[]]*(/,/^}/p&＃39; sourcefile.c | more





该命令有两个规则表达式 &＃39;/main[[]]*(/&＃39; 和 &＃39;/^}/&＃39;&＃xff0c;以及一个命令 &＃39;p&＃39;。第一个规则表达式将与后面依次跟有任意数量的空格或制表键以及开始圆括号的字符串 "main" 匹配。这应该与一般 ANSI C main() 声明的开始匹配。

在这个特别的规则表达式中&＃xff0c;出现了 &＃39;[[]]&＃39; 字符类。这只是一个特殊的关键字&＃xff0c;它告诉 sed 与 TAB 或空格匹配。如果愿意的话&＃xff0c;可以不输入 &＃39;[[]]&＃39;&＃xff0c;而输入 &＃39;[&＃39;&＃xff0c;然后是空格字母&＃xff0c;然后是 -V&＃xff0c;然后再输入制表键字母和 &＃39;]&＃39; -- Control-V 告诉 bash 要插入“真正”的制表键&＃xff0c;而不是执行命令扩展。使用 &＃39;[[]]&＃39; 命令类&＃xff08;特别是在脚本中&＃xff09;会更清楚。

好&＃xff0c;现在看一下第二个 regexp。&＃39;/^}&＃39; 将与任何出现在新行行首的 &＃39;}&＃39; 字符匹配。如果代码的格式很好&＃xff0c;那么这将与 main() 函数的结束花括号匹配。如果格式不好&＃xff0c;则不会正确匹配 -- 这是执行模式匹配任务的一件棘手之事。

因为是处于 &＃39;-n&＃39; 安静方式&＃xff0c;所以 &＃39;p&＃39; 命令还是完成其惯有任务&＃xff0c;即明确告诉 sed 打印该行。试着对 C 源文件运行该命令 -- 它应该输出整个 main() { } 块&＃xff0c;包括开始的 "main()" 和结束的 &＃39;}&＃39;。