精准化测试技术解读与平台构建最佳实践 | 测试开发前沿趋势
一、精准化测试是什么？
传统的软件测试技术主要基于测试人员对业务的理解，但由于经验与真实业务数据的差距，肯定会测试不充分，所以很多情况下，测试结果无法精确保证对软件质量的定义和判断。
精准化测试技术从字面理解，就是非常准确的测试，这意味着要 用量化的数字说话 。
精准化测试是一种可追溯的软件测试技术 。通过构建一套计算机测试辅助分析系统，对测试过程的活动进行监控，将采集到的监控数据进行分析，得到精准的量化数据，使用这些量化数据进行质量评价，利用这些分析数据可以促进测试过程的不断完善，形成度量及分析闭环。
精准化测试的核心思想 就是：使用非常精确和智能的软件来解决软件测试的问题，从根本上引领软件测试从经验型方法向技术型方法的转型。 质量的评估不再靠经验，而是通过精准的数据来判定。
二、精准化测试的发展历史
早在十年之前，测试行业就已经有很多人陆续投入精准化测试的技术研究。2019 年开始，精准化测试在业界大热，其中，蚂蚁金服的两位同学周为、翟帅在 MTSC 测试开发大会上分享的《进击的覆盖率 —— 实时代码染色技术》，可以说把精准化测试技术提到了一个新的高度，并迅速推动了在业界的应用普及。
- 百度利用覆盖率增量从回归数据中提取有效覆盖
- 精准定位用例数据与覆盖率关系
- 代码行为流建模
- 星云测试
- 有赞集成测试覆盖率统计实践
- 蚂蚁金服的代码实时染色
三、核心技术：代码调用链分析
常见的调用链分析方法主要有:
- 基于 AST 的语法树分析
- 基于字节码分析
调用链的动态分析方法：
- 基于 gdb/jdb 的调试器分析
- jvmti/jvmpi
- jvm-sandbox、bytebuddy、btrace 等工具
代码覆盖率其实是一种丢失了时序结构的调用链数据。调用链的本质是一种具备调用节点顺序的列表，覆盖率则是为了方便分析把列表降级成了集合。
调用链是一种图结构，可以适当的简化为树结构方便分析（谁说测试不需要懂数据结构与算法的……）
我们根据代码的调用链，根据一些真实的项目做了一个调用链的示意图，方便大家理解。
调用链就是一种带有分支的流程图。测试工程师提到的调用链，与架构师提到的调用链并不完全相同。
比如类似 Skywalking、Zipkin 之类的全链路 Trace 系统是可以追踪代码的执行链路，多数可以到函数级别，而测试工程师要分析代码的与业务之间的关系，需要追踪到代码行与分支级别。
四、用例与代码关联
建立关联关系的步骤：
- 执行用例
- 获取用例对应的代码调用链
- 建模分析
精准化的关键，其实就是对业务、用例、代码进行关联建模并追踪他们的变化。
首先建立业务、用例、代码调用链三者的关联数据表，可以简单理解为 Python 的三元组，或者 Java 的hashmap。
如果业务不清晰，可以暂时用用例代替业务，如果调用链没分析清楚，可以暂时用覆盖率数据作为替代。
五、精准化测试应用场景
精准化测试的用途：
- 根据代码变更定位用例范围
- 更准确深入的覆盖被测业务
- 白盒探索式测试
- 从线上数据反推有效测试用例
当新版本发布的时候，代码会发生变化（数据变化是另外一大话题，暂时忽略），首先分析代码范围，然后分析变化点散落在哪些用例中，这样就可以重点关注被影响波及的测试用例集合，这样 比全面回归测试能更高效精准的发现问题 。
同时根据新增代码的变更范围，我们也可以了解到我们漏测的部分，并加强未覆盖新增代码的测试验证。在白盒层面我们就可以建立起来具备快速探索与反馈的测试活动， 有效避免漏测 。
同样利用线上的数据，也可以帮助我们反推测试用例，比如百度曾经就利用覆盖率拆分技术，把为期2天的全量回归测试优化为 2 个小时的回归测试。把每个测试用例对应的覆盖率或者调用链拆分，根据覆盖率的不同可以自动划分为不同的等价类，从每个等价类集合中取少数代表性用例即可。通过这种方式，可以 有效弥补人工设计用例的不足 。
六、打造自己的精准化测试平台
越来越多的公司开始招聘测试开发工程师，甚至是通过研发工程师来设计自己的精准化测试平台。精准测试虽然起源于测试团队，但是他的应用价值是超越测试，横跨整个产品开发团队的，所以 精准化测试的平台会是大势所趋 。
为了照顾很多中小公司的同学，霍格沃兹测试学院为大家研究出了一套简化的、适合中小公司使用的 平民版精准化测试技术体系 ，可以用来简单的实现精准化测试方案：
- 使用 SonarQube 作为覆盖率与测试用例的分析平台
- 使用 JaCoCo 作为代码覆盖率的分析工具
- 使用 JaCoCo-cli 实现对单个用例的覆盖率收集
- 使用 Scanner 完成覆盖率导入
- 调整 SonarQube 平台中覆盖率展示的信息，加入关联测试用例的展示，方便在未覆盖的代码附近可以找到最接近的测试用例
总结一下，精准化测试不仅仅是测试左移的技术，它同时也可以是一种测试右移的实践。
线上数据的提炼、线上用户的调用链分析，也会逐渐成为未来线上测试的一种趋势 ，到时候就会需要一些强大的大数据平台做质量分析。