接口自动化的断言如何做?如何提高自动化Bug召回率

普遍接口自动化的现状

1、断言太少了
2、仅断言接口返回码

带来的问题:

只能判断接口是否可调通,没有验证接口的业务逻辑,断言效果较差,遗漏较多

引发的思考

接口自动化的断言覆盖如何做?如何提高自动化Bug召回率?

欢迎大家踊跃讨论!

方向:接口自动化需要熟悉字段,请求字段,返回字段,各种字段对应的值

一般都是断言返回码,错误码,返回描述,针对少的问题,尝试过全量覆盖,但无效的测试用例就会增多…

接口自动化的断言感觉只能断言一些统一的返回值,就像你说的,断言返回码,以及统一的返回msg,其他的如果要断言只能在单接口中断言,每个接口返回的数据结构都不统一,想一套平台代码兼容所有接口断言不好实现,至少目前我们没有实现。我们现在也只做了断言统一的返回吗和msg,如果有好的方案也想借鉴一下 :grinning_face_with_smiling_eyes:

嗯嗯,查找了相关资料,准备尝试使用Json Diff 的方式解决以上痛点,你也可以试试。

可以根据返回数据断言,做接口自动化要对业务熟悉的话更能好做一点,如新增 ,新增时接口返回的数据,断言可以简单一些,新增成功后,查询列表查看是否有新增的数据。都是可以做为验证和断言的 ,实际项目中接口自动化,如果只根据返回状态码,message这些去断言不太行的。

嗯嗯,有考虑过,但人工的方式比较费时并且可能会有遗漏,所以采用json diff的方式解决,可以去了解一下diffy~

是不是类似于json schema那样的校验?

你好同学,想加你微信,一起讨论下自动化