测试开发实战|轻松掌握 Linux 文本处理三剑客：grep、awk 和 sed 实战演练

霍格沃兹测试开发学社
1

image
image1080×460 36.9 KB

为什么要学习 Shell 脚本语言？

现代的互联网架构底层系统几乎都是基于 Linux 操作系统构建的，Linux 的核心价值在于提供了强大的系统内核功能进行文件管理和信息交互管理。

而 Shell 则是软件研发人员高效控制和使用 Linux 的工具和桥梁。Shell 本身是 C 语言编写的系统软件，通常也叫命令行工具。它具有一个基础的界面，用户在这个界面通过 Shell 脚本语言（Shell Script）来访问 Linux 操作系统内核服务。

在科幻电影里，我们经常看到在暗色调的屏幕上 Shell 脚本代码在快速滚动，这简直成为了 Geek／Hacker 的一个形象标签。实际工作中，Shell 也备受开发、运维、测试人员甚至运营人员的青睐，几乎是 IT 技术人员的必备技能。

而在软件测试领域，Shell 脚本编程作为自动化测试技术的基石，是测试开发工程师必须熟练掌握的技能。

Tips：尽管通常我们把「Shell」和「Shell 脚本语言」都叫做 “Shell”，但其实这两者是有本质区别的。

Shell 脚本语言编程有哪些优势？

Shell 脚本语言的优势在于能够以轻量级、最快捷的速度处理 Linux 操作系统偏底层的业务。比如软件的自动化安装、更新版本、监控报警、日志分析等。虽然其他高级编程语言如 PHP、Python、Ruby 等语言也能做到，但是效率和开发成本上会大打折扣，所谓“杀鸡用牛刀”，有点得不偿失。

成熟的技术人会摒弃华而不实的方法，根据不同的场景选择最合适的工具去解决问题，朴实但高效。比如本文着重介绍的 Linux 三剑客：grep、awk 和 sed 就是 Linux 文本处理问题的最高效工具。

下面，我们将依次介绍 Linux 文本处理三剑客的基础语法，使用场景和特性，以及给出对应的实战演练题目。

Shell 编程环境

  1. Windows 用户，建议安装 Git Bash 软件。

  2. Mac 用户，建议安装 iterm2 软件。

  3. ssh 工具

  • 霍格沃兹测试学院学员用自己的帐号登录
  • ssh 手机号后8位@shell.testing-studio.com
  • 没有 ssh 账号的可以临时用
  • ssh hogwarts2019@shell.testing-studio.com
  1. 演练文档：
    testerhome.com/tmp/nginx.log 保存了一份一天的 Nginx 访问 log。

Linux 三剑客介绍

image
image1024×768 88.2 KB

image
image1024×768 82.6 KB

image
image1024×768 98.2 KB

image
image1024×768 73 KB

grep 示例 Shell 脚本代码

ps -ef  | grep bash
echo "ABC" | grep -i  abc
ps -ef | grep bash | grep -v grep
echo "1234 7654" | grep -o "[0-9]4"
echo "1234 7654" | grep -oE "[0-9]4|76"

grep 实战演练题目

  • 找出 nginx.log 中所有 404 和 503 报错的 log 数据，取出前 3 条数据，把命令贴到回复里。
  • 找出 testerhome 首页的所有 http 和 https 的链接。

awk

image
image1024×768 103 KB

image
image1024×768 88 KB

image
image1024×768 98.6 KB

awk 示例 Shell 脚本代码

ps | awk 'BEGIN{print "start"}{print $0}END{print "end"}'

awk '/ 404 | 500 /' /tmp/nginx.log

echo '1
2
3
4
5' | awk '/2/,/4/'
echo '1
2
3
4
5' | awk '$0>3'
ps | awk 'NR>1'
ps | awk '{print $NF}'
echo $PATH | awk 'BEGIN{RS=":"}{print $0}' | grep -v "^$" | awk 'BEGIN{FS="\n";ORS=":"}{print $0}END{printf "\n" }'
echo '1,10
2,20
3,30' | awk 'BEGIN{a=0;FS=","}{a+=$2}END{print a,a/NR}'

awk 'BEGIN{print 33*20*76/200/3}'

echo "123|456_789" | awk 'BEGIN{FS="\\||_"}{print $2}'

echo "123|456_789" | awk "BEGIN{FS=\"\\\\||_\"}{print \$2}" #尽量使用单引号

awk 实战演练题目

  • 找出 404 和 500 的数据，只打印状态码这一列，然后排序去重。把命令贴到回复里
  • 去 testerhome 首页找到所有的 http 的连接，然后打印不带 http 的纯域名部分

image
image1024×768 63.2 KB

pattern表达式

  • 20 30,35 行数与行数范围
  • /pattern/ 正则匹配
  • //,// 正则匹配的区间

action

  • d 删除
  • p 打印，通畅结合-n参数
  • s/REGEXP/REPLACEMENT/[FLAGS]
  • 替换时引用 \1 \2 匹配的字段

sed 示例 Shell 脚本代码

ps | sed -n1,3p

ps | sed 's/CMD/command/'

ps | sed -n '/ps/p'

echo '1
2
3
4
5' | sed -n '/3/,/4/p'

echo '1
2
3
4
5' | sed '/3/,/4/d'

ps | sed -e 's/CMD/command/' -e 's#00#20#g'

sed 实战演练题目

  • 对所有404 500 的数据，统计出现这种状态码的url，需要对url汇总（汇总相似的url，把相同的资源但是变化的id去掉）去重，打印前5个出问题的路径，把命令贴到回复里。
1 个赞