shell 编程（八）：shell 常用工具之 sed

27 May, 2019. It was a Monday.

view:

shell 常用工具：sed

sed ：流编辑器（Stream Editor），在 Shell 脚本和 Makefile 中作为过滤器使用非常普遍，也就是把前一个程序的输出引入 sed 的输入，经过一系列编辑命令转换为另一种格式输出。

sed 和 vi 都源于早期 UNIX 的 ed 工具，所以很多 sed 命令和 vi 的末行命令是相同的。

基本格式

sed 命令行的基本格式为

sed option 'script' file1 file2 ...
sed option -f scriptfile file1 file2 ...

选项含义：

–version 显示sed版本。
–help 显示帮助文档。
-n,–quiet,–silent 静默输出，默认情况下，sed程序在所有的脚本指令执行完毕后，将自动打印模式空间中的内容，这些选项可以屏蔽自动打印。
-e script 允许多个脚本指令被执行。
-f script-file,
–file=script-file 从文件中读取脚本指令，对编写自动脚本程序来说很棒！
-i,–in-place 直接修改源文件，经过脚本指令处理后的内容将被输出至源文件（源文件被修改）慎用！
-l N, –line-length=N 该选项指定l指令可以输出的行长度，l指令用于输出非打印字符。
–posix 禁用GNU sed扩展功能。
-r, –regexp-extended 在脚本指令中使用扩展正则表达式
-s, –separate 默认情况下，sed将把命令行指定的多个文件名作为一个长的连续的输入流。而GNU sed则允许把他们当作单独的文件，这样如正则表达式则不进行跨文件匹配。
-u, –unbuffered 最低限度的缓存输入与输出。

以上仅是 sed 程序本身的选项功能说明。

下面简单介绍几个sed脚本指令操作的例子。

a,append        追加
i,insert        插入
d,delete        删除
s,substitution  替换

例1：

$ sed "2a test" ./testfile

效果：在输出 testfile 内容的第二行后添加”test”。

例2：

$ sed "2,5d" testfile

效果：删除 testfile 文件第2行到第五5行的内容。

注意，sed 命令不会修改原文件，删除命令只表示某些行不打印输出，而不是从原文件中删去。

sed 处理的文件既可以由标准输入重定向得到，也可以当命令行参数传入，命令行参数可以一次传入多个文件，sed 会依次处理。

sed 的编辑命令可以直接当命令行参数传入，也可以写成一个脚本文件然后用 -f 参数指定，编辑命令的格式为

/pattern/action

其中 pattern 是正则表达式，action 是编辑操作。sed 程序一行一行读出待处理文件，如果某一行与 pattern 匹配，则执行相应的 action，如果一条命令没有 pattern 而只有 action，这个 action 将作用于待处理文件的每一行。

常用的sed命令

/pattern/p  打印匹配pattern的行
/pattern/d  删除匹配pattern的行
/pattern/s/pattern1/pattern2/   查找符合pattern的行，将该行第一个匹配pattern1的字符串替换为pattern2
/pattern/s/pattern1/pattern2/g  查找符合pattern的行，将该行所有匹配pattern1的字符串替换为pattern2

使用 p 命令需要注意，sed 是把待处理文件的内容连同处理结果一起输出到标准输出的，因此 p 命令表示除了把文件内容打印出来之外还额外打印一遍匹配pattern 的行。比如一个文件 testfile 的内容是

123
abc
456

打印其中包含abc的行

$ sed '/abc/p' testfile

终端输出结果为：

123
abc
abc
456

要想只输出处理结果，应加上 -n 选项，这种用法相当于 grep 命令

$ sed -n '/abc/p' testfile

终端输出结果为：

abc

使用 d 命令就不需要 -n 参数了，比如删除含有 abc 的行

$ sed '/abc/d' testfile

终端输出结果为：

123
456

使用查找替换命令时，可以把匹配 pattern1 的字符串复制到 pattern2 中，比如：

$ sed 's/bc/-&-/' testfile

终端输出结果为：

123
a-bc-
456

pattern2 中的 & 表示原文件的当前行中与 pattern1 相匹配的字符串

再比如：

$ sed 's/\([0-9]\)\([0-9]\)/-\1-~\2~/' testfile

终端输出结果为：

-1-~2~3
abc
-4-~5~6

pattern2 中的 \1 表示与 pattern1 的第一个()括号相匹配的内容，\2表示与 pattern1 的第二个()括号相匹配的内容。sed 默认使用 Basic 正则表达式规范，如果指定了 -r 选项则使用 Extended 规范，那么()括号就不必转义了。

$ sed  's/yes/no/;s/static/dhcp/'  ./testfile

注：使用分号隔开指令。

$ sed -e 's/yes/no/' -e 's/static/dhcp/' testfile

注：使用-e选项。

如果 testfile 的内容是

<html><head><title>Hello World</title></head>
<body>Welcome to the world of regexp!</body></html>

现在要去掉所有的HTML标签，使输出结果为

Hello World
Welcome to the world of regexp!

怎么做呢？如果用下面的命令

$ sed 's/<.*>//g' testfile

结果是两个空行，把所有字符都过滤掉了。这是因为，正则表达式中的数量限定符会匹配尽可能长的字符串，这称为贪心的(Greedy)。

比如 sed 在处理第一行时，<.*> 匹配的并不是或这样的标签，而是

<html><head><title>Hello World</title>

正确的正则应该这么写：

$ sed 's/<[^>]*>//g' testfile