sed、xargs命令

• 这两天笔试做了一道题&＃xff0c;要我找到当前目录下所有xml文件&＃xff0c;并且把里面的hello替换为world。找到所有xml好办&＃xff0c;find命令就好&＃xff0c;但怎么替换里面的内容就一脸懵逼了。然后今天查了下&＃xff0c;看到可以用sed或者xargs命令&＃xff0c;所以就学了一下。

• sed是一种流编辑器&＃xff0c;它是文本处理中非常中的工具&＃xff0c;能够完美的配合正则表达式使用&＃xff0c;功能不同凡响。处理时&＃xff0c;把当前处理的行存储在临时缓冲区中&＃xff0c;称为“模式空间”&＃xff08;pattern space&＃xff09;&＃xff0c;接着用sed命令处理缓冲区中的内容&＃xff0c;处理完成后&＃xff0c;把缓冲区的内容送往屏幕。接着处理下一行&＃xff0c;这样不断重复&＃xff0c;直到文件末尾。文件内容并没有改变&＃xff0c;除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件&＃xff1b;简化对文件的反复操作&＃xff1b;编写转换程序等。

1. 使用方式

• sed [options] &＃39;command&＃39; file(s)
  sed [options] -f scriptfile file(s)

• options&＃xff1a;
  -e或--expression&＃61;&＃xff1a;以选项中的指定的script来处理输入的文本文件&＃xff1b;
  -f或--file&＃61;&＃xff1a;以选项中指定的script文件来处理输入的文本文件&＃xff1b;
  -h或--help&＃xff1a;显示帮助&＃xff1b;
  -n或--quiet或——silent&＃xff1a;仅显示script处理后的结果&＃xff1b;
  -V或--version&＃xff1a;显示版本信息。

• sed命令&＃xff1a;
  a\ 在当前行下面插入文本。
  4a\ 在第4行下面插入文本。
  i\ 在当前行上面插入文本。
  4i\ 在第4行上面插入文本。
  c\ 把选定的行改为新的文本。
  d 删除&＃xff0c;删除选择的行。
  D 删除模板块的第一行。
  s 替换指定字符
  h 拷贝模板块的内容到内存中的缓冲区。
  H 追加模板块的内容到内存中的缓冲区。
  g 获得内存缓冲区的内容&＃xff0c;并替代当前模板块中的文本。
  G 获得内存缓冲区的内容&＃xff0c;并追加到当前模板块文本的后面。
  l 列表不能打印字符的清单。
  n 读取下一个输入行&＃xff0c;用下一个命令处理新的行而不是用第一个命令。
  N 追加下一个输入行到模板块后面并在二者间嵌入一个新行&＃xff0c;改变当前行号码。
  p 打印模板块的行。
  P(大写) 打印模板块的第一行。
  q 退出Sed。
  b lable 分支到脚本中带有标记的地方&＃xff0c;如果分支不存在则分支到脚本的末尾。
  r file 从file中读行。
  t label if分支&＃xff0c;从最后一行开始&＃xff0c;条件一旦满足或者T&＃xff0c;t命令&＃xff0c;将导致分支到带有标号的命令处&＃xff0c;或者到脚本的末尾。
  T label 错误分支&＃xff0c;从最后一行开始&＃xff0c;一旦发生错误或者T&＃xff0c;t命令&＃xff0c;将导致分支到带有标号的命令处&＃xff0c;或者到脚本的末尾。
  w file 写并追加模板块到file末尾。  
  W file 写并追加模板块的第一行到file末尾。  
  ! 表示后面的命令对所有没有被选定的行发生作用。  
  &＃61; 打印当前行号码。  
  # 把注释扩展到下一个换行符以前

• sed替换标记&＃xff1a;
  g 表示行内全面替换。  
  p 表示打印行。  
  w 表示把行写入一个文件。  
  x 表示互换模板块中的文本和缓冲区中的文本。  
  y 表示把一个字符翻译为另外的字符&＃xff08;但是不用于正则表达式&＃xff09;
  \1 子串匹配标记
  & 已匹配字符串标记

• sed元字符集&＃xff1a;
  ^ 匹配行开始&＃xff0c;如&＃xff1a;/^sed/匹配所有以sed开头的行。
  $ 匹配行结束&＃xff0c;如&＃xff1a;/sed$/匹配所有以sed结尾的行。
  . 匹配一个非换行符的任意字符&＃xff0c;如&＃xff1a;/s.d/匹配s后接一个任意字符&＃xff0c;最后是d。
  * 匹配0个或多个字符&＃xff0c;如&＃xff1a;/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
  [] 匹配一个指定范围内的字符&＃xff0c;如/[ss]ed/匹配sed和Sed。  
  [^] 匹配一个不在指定范围内的字符&＃xff0c;如&＃xff1a;/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头&＃xff0c;紧跟ed的行。
  \(..\) 匹配子串&＃xff0c;保存匹配的字符&＃xff0c;如s/\(love\)able/\1rs&＃xff0c;loveable被替换成lovers。
  & 保存搜索字符用来替换其他字符&＃xff0c;如s/love/**&**/&＃xff0c;love这成**love**。
  \<匹配单词的开始&＃xff0c;如:/\ \> 匹配单词的结束&＃xff0c;如/love\>/匹配包含以love结尾的单词的行。
  x\{m\} 重复字符x&＃xff0c;m次&＃xff0c;如&＃xff1a;/0\{5\}/匹配包含5个0的行。
  x\{m,\} 重复字符x&＃xff0c;至少m次&＃xff0c;如&＃xff1a;/0\{5,\}/匹配至少有5个0的行。
  x\{m,n\} 重复字符x&＃xff0c;至少m次&＃xff0c;不多于n次&＃xff0c;如&＃xff1a;/0\{5,10\}/匹配5~10个0的行。

2. 例子

• 直接编辑文件选项-i&＃xff0c;会匹配file文件中每一行的book替换为books。其中/g表示匹配每一个&＃xff0c;不加的话只匹配每一行中的第一个。
  sed -i &＃39;s/book/books/g&＃39; file
• 当需要从第N处匹配开始替换时&＃xff0c;可以使用 /Ng&＃xff1a;
  echo sksksksksksk | sed &＃39;s/sk/SK/2g
• 以上命令中字符 / 在sed中作为定界符使用&＃xff0c;也可以使用任意的定界符&＃xff0c;其中的s作用就是替换定界符&＃xff1a;
  sed &＃39;s:test:TEXT:g&＃39;
  sed &＃39;s|test|TEXT|g&＃39;
• 定界符出现在样式内部时&＃xff0c;需要进行转义&＃xff1a;
  sed &＃39;s/\/bin/\/usr\/local\/bin/g&＃39;
• sed -i &＃39;s/book/books/g&＃39; | find . -name "*.xml"

• d为删除操作&＃xff0c;删除空白行&＃xff1a;
  sed &＃39;/^$/d&＃39; file
• 删除文件的第2行&＃xff1a;
  sed &＃39;2d&＃39; file
• 删除文件的第2行到末尾所有行&＃xff1a;
  sed &＃39;2,$d&＃39; file
• 删除文件最后一行&＃xff1a;
  sed &＃39;$d&＃39; file
• 删除文件中所有开头是test的行&＃xff1a;
  sed &＃39;/^test/&＃39;d file

• 文章开头提到的问题怎么写命令&＃xff1a;
  find . -name &＃39;*.xml&＃39; -exec sed -i &＃39;s/hello/world/g&＃39; {} \;

• 其他sed命令使用方式参考&＃xff1a;
  sed命令

• 这个命令其实还是要和上面的sed和find配合使用。只是这次不用find自带的exec。这个命令不止用在这里&＃xff0c;可以用来连接很多命令。
• xargs 是给命令传递参数的一个过滤器&＃xff0c;也是组合多个命令的一个工具。
• xargs 可以将管道或标准输入&＃xff08;stdin&＃xff09;数据转换成命令行参数&＃xff0c;也能够从文件的输出中读取数据。
• xargs 也可以将单行或多行文本输入转换为其他格式&＃xff0c;例如多行变单行&＃xff0c;单行变多行。
• xargs 默认的命令是 echo&＃xff0c;这意味着通过管道传递给 xargs 的输入将会包含换行和空白&＃xff0c;不过通过 xargs 的处理&＃xff0c;换行和空白将被空格取代。
• xargs 是一个强有力的命令&＃xff0c;它能够捕获一个命令的输出&＃xff0c;然后传递给另外一个命令。之所以能用到这个命令&＃xff0c;关键是由于很多命令不支持|管道来传递参数&＃xff0c;而日常工作中有有这个必要&＃xff0c;所以就有了 xargs 命令。

1. 使用方式

• somecommand |xargs -item  command
• -item可选&＃xff1a;
  -a file 从文件中读入作为sdtin
  -e flag &＃xff0c;注意有的时候可能会是-E&＃xff0c;flag必须是一个以空格分隔的标志&＃xff0c;当xargs分析到含有flag这个标志的时候就停止。
  -p 当每次执行一个argument的时候询问一次用户。
  -n num 后面加次数&＃xff0c;表示命令在执行的时候一次用的argument的个数&＃xff0c;默认是用所有的。
  -t 表示先打印命令&＃xff0c;然后再执行。
  -i 或者是-I&＃xff0c;这得看linux支持了&＃xff0c;将xargs的每项名称&＃xff0c;一般是一行一行赋值给 {}&＃xff0c;可以用 {} 代替。
  -r no-run-if-empty 当xargs的输入为空的时候则停止xargs&＃xff0c;不用再去执行了。
  -s num 命令行的最大字符数&＃xff0c;指的是 xargs 后面那个命令的最大命令行字符数。
  -L num 从标准输入一次读取 num 行送给 command 命令。
  -l 同 -L。
  -d delim 分隔符&＃xff0c;默认的xargs分隔符是回车&＃xff0c;argument的分隔符是空格&＃xff0c;这里修改的是xargs的分隔符。
  -x exit的意思&＃xff0c;主要是配合-s使用。。
  -P 修改最大的进程数&＃xff0c;默认是1&＃xff0c;为0时候为as many as it can &＃xff0c;这个例子我没有想到&＃xff0c;应该平时都用不到的吧。

2. 实例

• 文章开头例子&＃xff1a;
  find . -name &＃39;*.xml&＃39; |xargs sed -i &＃39;s/hello/world/g&＃39;