shell三剑客

awk、grep、sed是linux操作文本的三大利器，合称文本三剑客，也是必须掌握的linux命令之一。

##正则表达式 POSIX正则表达式分为基本正则表达式（BRE）和扩展表达式（ERE）。

• 支持的命令

类型	grep	sed	vi	more	egrep	awk
BRE	√	√	√	√
ERE					√	√

• BRE 和ERE区别

字符	意义	支持的类型
\	将下一个字符标记为特殊字符，或者将一个元字符转义为普通字符。如n加上\匹配一个换行符。\则匹配一个\字符。	BOTH
^	匹配输入字符串的开始位置	BOTH
$	匹配输入字符串的结束位置	BOTH
*	匹配前面的子表达式0次或者多次，如zo*能匹配z和zoo	BOTH
？	匹配前面的子表达式0次或者1次	ERE
.	匹配除\n之外的任何单个字符	BOTH
+	匹配前面的子表达式1次或者多次，如zo+能匹配zo和zoo，但不能匹配z	ERE
|	匹配于|符号前或后的正则表达式	ERE
{n,m}	最少匹配n次，最多匹配m次和BRE的区别是不需要加\	ERE
\{n\}	匹配前面的子表达式n次	BRE
\{n,\}	至少匹配前面的子表达式n次	BRE
\{n,m\}	最少匹配n次，最多匹配m次	BRE
\(\)	将(与)间的模式存储在特殊的保留空间	BRE
\digit	重复在(与)方括号内第n个子模式至此点的模式	BRE
[xyz]	匹配xyz中的任何一个字符	BOTH
[^xyz]	匹配未包含的任意字符	BOTH
[x-z]	匹配小写的字符	BOTH

GREP

grep 命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。grep全称是 Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。

命令的基本格式：grep [option] pattern file option如下：

• -A<行数 x>：除了显示符合范本样式的那一列之外，并显示该行之后的 x 行内容。 grep -A2 "george" pets.txt
• -B<行数 x>：除了显示符合样式的那一行之外，并显示该行之前的 x 行内容。 grep -B2 "george" pets.txt
• -C<行数 x>：除了显示符合样式的那一行之外，并显示该行之前后的 x 行内容。 grep -C2 "george" pets.txt
• -c：统计匹配的行数 grep -c "name" pets.txt
• -e ：实现多个选项间的逻辑or 关系 grep -e "betty" -e "frank" pets.txt grep -c -e "betty" -e "frank" pets.txt
• -E：扩展的正则表达式 grep -E "[a-z]{4,}'s" pets.txt grep "[a-z]\{4,\}'s" pets.txt
• -f 文件名：从文件获取 PATTERN 匹配 echo frank > patten.txt grep -nf patten.txt pets.txt
• -F ：相当于fgrep grep -F相当于fgrep命令，就是将pattern视为固定字符串。比如搜索’aa*‘不带-F和带上，区别如下： echo aaaa | grep "aa*" echo aaaa | grep -F "aa*" echo aa* | grep -F "aa*"
• -i –ignore-case #忽略字符大小写的差别。 grep -i "Frank" pets.txt
• -n：显示匹配的行号 grep -in "dog" pets.txt
• -o：仅显示匹配到的字符串 grep -o "dog" pets.txt
• -q： 静默模式，不输出任何信息 多用于shell脚本中，做if判断
• -s：不显示错误信息。
• -v：显示不被 pattern 匹配到的行，相当于[^] 反向匹配 grep -v "dog" pets.txt
• -w ：匹配 整个单词 grep "do" pets grep -w "do" pets.txt

AWK

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。对于日志、CSV 那样的每行格式相同的文本文件，awk可能是最方便的工具。 之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

命令的基本格式： *awk ‘{[pattern] action}’ {filenames} *

####变量

• $num表示第num列
• NF表示有多少列
• NR表示第几行 awk '{print NR,$NF}' pets.txt

分隔符

• FS：字段分隔符，默认是空格和制表符。
• RS：行分隔符，用于分割每一行，默认是换行符。
• OFS：输出字段的分隔符，用于打印时分隔字段，默认为空格。
• ORS：输出记录的分隔符，用于打印时分隔记录，默认为换行符。
• OFMT：数字输出的格式，默认为％.6g。

echo a-b-c| awk -v OFS="/" -F "-" '{print NR,$NF}' echo a,b,c,d#e,f,g,h | awk -v RS="#" -v OFS="/" -v ORS="," -F "," '{print $1,$2}' Desktop/test.txt

参数

• -v 变量替换
• -F 指定字段分隔符

模式

• NR 判断 awk 'NR%2 ==0 {print $5}' pets.txt
• 正则判断 awk '/This/{print $4}' pets.txt
• if 判断 echo -e "12345ms\n4ms" | egrep -o "[0-9]+" | awk '{if(int($1) > 222) print $1; else print "----"}'
• 函数 tolower()：字符转为小写。 length()：返回字符串长度。 substr()：返回子字符串。 sin()：正弦。 cos()：余弦。 sqrt()：平方根。 rand()：随机数。 https://www.gnu.org/software/gawk/manual/html_node/Built_002din.html#Built_002din

SED

sed 命令的作用是利用脚本来处理文本文件。sed全名叫stream editor，流编辑器，用程序的方式来编辑文本。

命令的基本格式： sed [-hnV][-e][-f<script文件>][文本文件]

参数说明：

• -e或–expression= 以选项中指定的 script 来处理输入的文本文件，这个-e可以省略，直接写表达式。多个多项编辑。
• -f<script文件>或–file=<script文件>以选项中指定的 script 文件来处理输入的文本文件。
• -n 取消默认输出
• -i 覆盖原文件
• -r使用扩展正则表达式

动作说明：

• a：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～ 奇数行后增加 echo -e "1\n2\n3\n4\n5" | sed "1~2 a www"
• c：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！ echo -e "1\n2\n3\n4\n5" | sed "1,2c www" echo -e "1\n2\n3\n4\n5" | sed -e "1c www" -e "2c bb"
• d：删除，因为是删除，所以 d 后面通常不接任何东西； 删除注释的行 echo -e "#todo\ndef s\nputs 'b'\nend" | sed "/^#/d"
• i：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)； echo -e "1\n2\n3\n4\n5" | sed "1 i aaa"
• p：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～ echo -e "1\n2\n3\n4\n5" | sed -n "1p"
• s：取代，通常这个 s 的动作可以搭配正规表示法，例如 1,20s/old/new/g 。 替换每行第一个is 为was：sed 's/is/was/1' pets.txt 替换每行全部is为was sed 's/is/was/g' pets.txt 替换偶数行 is为was sed '1~2! s/is/was/g' pets.txt 覆盖原文件 sed -i '1~2! s/is/was/g' pets.txt