shell 三剑客学习笔记

seveniruby · 2019 年6 月 25 日 07:45

shell的三剑客

grep用来文本搜索，支持正则表达式
awk用来数据切片
sed用来修改文件数据

grep

grep 是一行一行循环匹配，匹配到相应的值时会先输出，然后换行继续匹配再换行直到所有的内容都匹配完。

常用参数

-n 显示行号
-i 忽略大小写
-o 精准匹配’
E 使用扩展正则表达式
-v 反转查找，即输出与查找条件不相符合的行
-n 显示行号
-A ：后面可加数字，为 after 的意思，除了列出该行外，后续的 n 行也列出来
-B ：后面可加数字，为 befer 的意思，除了列出该行外，前面的 n 行也列出来
--color=auto 可将正确的那个撷取数据列出颜色
grep -n -A3 -B2 --color=auto '20428'

实例
先创建了一个test文件输入以下内容
echo hello from testerhome,this is for grep test > test
通过grep匹配test文件中的hello from testerhome

[tmp]$ grep "hello from testerhome" test
输出：hello from testerhome,this is for grep test
# 加上-o精准匹配
grep  -o "hello from testerhome" test
输出：test:hello from testerhome
# 不加-o会把包含匹配信息所在行中的所有内容输出(不在一行的不会输出)所以内
# 加-o只会输出匹配的信息，不会输出其他多余的信息

管道匹配

# 匹配 c
[tmp]$ echo abcd | grep -o c # 将管道前面的输出内容 作为后面的输入内容
输出：c

匹配网页内容

# 通过百度搜索关键字，然后通过正则匹配出搜索结果约xxx的内容，关键字以文件的形式作为参数循环传入
1. 创建文件 vim  baidu.keywrod
2. 输入关键字 
python 
ios 
shell
3. 输出命令
while read k; do echo $k; curl -s http://www.baidu.com/s?wd=$k; done < baidu.keyword 
| grep "结果约[0-9,]*"

while read k; do echo $k; 循环读取内容，这里通过重定向输入到baidu.keywrod这个文件，去读取文件中的内容
curl -s 百度安全验证这个是请求百度搜索地址，将夺取的内容作为参数传给wd 。 -s 会忽略掉一些curl请求的相关信息
| grep “结果约[0-9,]*” 通过管道命令后面的gerp+正则匹配得到想要的结果

查看/etc/xxx.conf文件中除了以"#"开头的行（一般为注释）和空行以外的所有内容

[tmp]$ grep -v "^#" /etc/xxx.conf | grep -v "^#"

awk

awk 可以处理后续接的文件，也可以读取来自前个指令的标准输出，比较倾向于一行当中分成数个“字段”来处理。

一般格式
awk '条件类型1{动作1} 条件类型2{动作2} ...' filename

awk ‘BEGIN{}END{}’ 开始和结束
awk ‘/Running/’ 正则匹配
awk ‘/aa/,/bb/’ 区间选择
awk ‘$2~/xxx/’ 字段匹配
awk ‘NR==2’ 取第二行
awk ‘NR>1’ 去掉第一行

脚本格式

awk 
'BEGIN{
  初始化语句 
}
{
  pattern{actions}；
  pattern{actions}；
  ...
}
END{
  读取所有输入行后执行语句
}'

如果BEGIN区块存在，awk首先执行它里面包含的动作指令。
当awk读完所有的输入行后，如果存在END区域，执行END区域的指令。
pattern`（条件）可以是以下两种类型：
1. 正则表达式：/正则表达式/
2. 布尔表达式：表达式成立，触发相应的actions执行，如 5>3{print}
actions（动作）是由许多awk指令构成
1. awk的I/O指令有print、printf()、getline等
2. awk的流程控制指令有if…else…、 while() {…}等
3. 所有 awk 的动作，亦即在 {} 内的动作，如果有需要多个指令辅助时，可利用分��“;”间隔，或者直接以[Enter] 按键来隔开每个指令
4. 与 bash shell 的变量不同，在 awk 当中，变量可以直接使用，不需加上 $ 符号。
awk 后面接两个单引号并加上大括号 {} 来设置想要对数据进行的处理动作。
awk 主要是处理“每一行的字段内的数据”，而默认的“字段的分隔符号为 “空白键” 或 “[tab]键” ”！
也就是说，比如有这样一行内容“hello shell”， awk就会当成是两列\$1取第一列的数据，\$2取第二列的数据

实例

打印1～10的自然数

[tem]$ awk 'BEGIN{while(++x<=10) print x}'
1
2
3
4
5
6
7
8
9
10

生成1～10的随机整数

[tem]$ awk 'BEGIN{print int(1+10*rand())}'
3

取出帐号与登陆者的 IP ，且帐号与 IP 之间以 [tab] 隔开

# 查看登陆者ip
[tmp]$ last -n 5
177**250 pts/26       182.**.120.43    Mon Jun 24 16:47   still logged in   
000**481 pts/20       114.**2.105.123  Mon Jun 24 16:38   still logged in   
504**406 pts/29       122.**2.15.42    Mon Jun 24 16:24   still logged in   
171**144 pts/16       101.**4.84.70    Mon Jun 24 15:55   still logged in   
101**869 pts/8        123.**0.4.245    Mon Jun 24 15:55   still logged in  

# 取出帐号与登陆者的 IP ，且帐号与 IP 之间以 [tab] 隔开
[tmp]$ last -n 5 | awk '{print $1 "\\t" $3}'
000**481        114.**2.105.123
504**406        122.**2.15.42
171**144        101.**4.84.70
101**869        123.**0.4.245
298**968        202.**5.145.242

在 awk 的括号内，每一行的每个字段都是有变量名称的，那就是 $1, $2… 等变量名称。以上面的例子来说,000\*\*481 是 $1 ，因为他是第一栏嘛！至于 114.**2.105.123 是第三栏，所以他就是$3 啦！后面此类推，$NF代表最后一个字段。还有个变量喔！那就是 $0 ，$0 代表“一整列数据”的意思。
整个 awk 的处理流程是：
1. 读入第一行，并将第一行的数据填入 $0, $1, $2… 等变量当中；
2. 依据 “条件类型” 的限制，判断是否需要进行后面的 “动作”；
3. 做完所有的动作与条件类型；
4. 若还有后续的“行”的数据，则重复上面 1~3 的步骤，直到所有的数据都读完为止

awk内置变量

变量名称	代表意义
NF	每一行（$0）拥有的字段总数
NR	目前 awk 所处理的是“第几行”数据
FS	目前字段的分隔字符，默认是空白键
RS	行分隔符，默认是换行
FNR	统计awk读取过的总行数
OFS	输出数据的字段分隔符
ORS	输出数据的行分隔符
FILENAME	当前输入文件名
我们继续以上面 last -n 5 的例子来做说明，如果我想要：

列出每一行的帐号（就是 $1）；
列出目前处理的行数（就是 awk 内的 NR 变量）
并且说明，该行有多少字段（就是 awk 内的 NF 变量）

[tmp]$ last -n 5| awk '{print $1 "\\t 当前行数: " NR "\\t 当前行总段数 " NF}'     
02**2304         当前行数: 1     当前行总段数 10
72**2968         当前行数: 2     当前行总段数 10
95**6181         当前行数: 3     当前行总段数 10
17**8250         当前行数: 4     当前行总段数 10
00**6481         当前行数: 5     当前行总段数 10

实例2
在 /etc/passwd 当中是以冒号 “:” 来作为字段的分隔，该文件中第一字段为帐号，第三字段则是 UID。那假设我要查阅，第三栏小于 10 以下的数据，并且仅列出帐号与第三栏。

[tmp]$ cat /etc/passwd | awk '{FS=":"} $3 < 10 {print $1 "\\t " $3}'
root:x:0:0:root:/root:/bin/bash  
bin      1
daemon   2
adm      3
lp       4
sync     5
shutdown         6
halt     7
mail     8..

sed

sed 本身也是一个管道命令，可以分析 standard input ，而且 sed 还可以将数据进行取
代、删除、新增、撷取特定行等等的功能
格式
sed [-nefr] [动作]
选项与参数：
-n ：使用安静（silent）模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到屏幕上。但如果加上 -n 参数后，则只有经过 sed 特殊处理的那一行（或者动作）才会被列出来。
-e ：直接在命令行界面上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以执行 filename 内的 sed 动作
-r ：sed 的动作支持的是延伸型正则表达式的语法。（默认是基础正则表达式语法）
-i ：直接修改读取的文件内容，而不是由屏幕输出。
动作说明： [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表“选择进行动作的行数”，举例来说，如果我的动作
是需要在 10 到 20 行之间进行的，则“ 10,20[动作行为] ”
function 有下面这些咚咚：
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现（目前的下一行）
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现（目前的上一行）
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正则表达式
例如 1,20s/old/new/g 就是啦！

实例1

# 将 /etc/passwd 的内容列出并且打印行号，同时，请将第 2~5 行删除！
[tem]$ nl /etc/passwd | sed '2,5d'
  1 root:x:0:0:root:/root:/bin/bash
  6 sync:x:5:0:sync:/sbin:/bin/sync
  7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
# 那个 d 就是删除！因为 2-5 行给他删除了，所以显示的数据就没有 2-5 行了

# 在第二行后（亦即是加在第三行）加上“hello shell”字样！
[tem]$ nl /etc/passwd | sed '2a hello shell'
  1 root:x:0:0:root:/root:/bin/bash
  2 bin:x:1:1:bin:/bin:/sbin/nologin
  hello shell
  3 daemon:x:2:2:daemon:/sbin:/sbin/nologin

# 如果要新增多行每一行之间都必须要以反斜线“ \\ ”来进行新行的增加
[tem]$ nl /etc/passwd | sed '2a hello shell \\
> hello world'
  1 root:x:0:0:root:/root:/bin/bash
  2 bin:x:1:1:bin:/bin:/sbin/nologin
  hello shell
  hello world
  3 daemon:x:2:2:daemon:/sbin:/sbin/nologin

# 取出 11~20 行
[tem]$ nl /etc/passwd  | sed -n '11,20p'  
   11  games:x:12:100:games:/usr/games:/sbin/nologin
   12  ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
   13  nobody:x:99:99:Nobody:/:/sbin/nologin
   14  systemd-bus-proxy:x:999:998:systemd Bus Proxy:/:/sbin/nologin
   15  systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
   16  dbus:x:81:81:System message bus:/:/sbin/nologin
   17  polkitd:x:998:997:User for polkitd:/:/sbin/nologin
   18  tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
   19  sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
   20  postfix:x:89:89::/var/spool/postfix:/sbin/nologin

请注意：

sed 后面接的动作，请务必以 '' 两个单引号括住喔！
如果有多个动作使用 -e 分隔如，nl /etc/passwd | sed -n '1,10p'| sed -e '2,5d' -e '6i hello'

部分数据的搜索并取代
格式
sed 's/要被取代的字串/新的字串/g'

实例
取出ip地址


#先观察原始讯息，利用 /sbin/ifconfig eth0 查询 IP 
[tem]$ /sbin/ifconfig eth0 
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.19.147.8  netmask 255.255.240.0  broadcast 172.19.159.255
        ether 00:16:3e:04:1c:75  txqueuelen 1000  (Ethernet)
        RX packets 101946929  bytes 30358246998 (28.2 GiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 84401729  bytes 45138874295 (42.0 GiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

#  取出172.19.147.8
[tem]$ /sbin/ifconfig eth0 | grep "inet" | sed 's/.*inet//g' | sed 's/ *netmask.*//g'
 172.19.147.8
说明：
1. 先用grep过滤出包含inet的行
2. 然后使用sed干掉ip地址前面的空字符串以及inet
3. 最后把 ip地址后面字符串也干掉