微信小程序自动化框架minium实践

一、背景需求

精选小程序发生了一次线上问题,测试阶段的小程序开发码测试ok,但是小程序正式码由于打包问题,"我的订单"页面文件打包失败,导致线上用户访问我的页面白屏。

当前并不能避免该打包问题,为了规避异常版本发布至线上,需要在预发、体验码发布、正式码发布等各阶段进行主流程回归。手动回归测试非常耗时,在发布前的各阶段,测试人员须重复执行大量测试用例,以确保本次上线功能OK且对其他功能无影响。

一遍又一遍执行相同的测试用例,不仅要花费更多的时间,而且还会降低整体测试效率,因此引入微信小程序自动化以解放重复人力。

二、调研

1.Jest+小程序SDK

优点:

  • 小程序自动化 SDK 为开发者提供了一套通过外部脚本操控小程序的方案,从而实现小程序自动化测试的目的,小程序自动化 SDK 本身不提供测试框架。这意味着你可以将它与市面上流行的任意 Node.js 测试框架结合使用;
  • jest 是facebook推出的一款测试框架,集成了 Mocha,chai,jsdom,覆盖率报告等开发者所需要的所有测试工具,是一款几乎零配置的测试框架;

缺点:

  • 语言仅支持JavaScript 编写;
  • 使用中遇到问题,网上相关资料比较少;

2.minium框架

优点:

  • 微信小程序官方推出的小程序自动化框架,是为小程序专门开发的自动化框架, 提供了 Python 和 JavaScript 版本。
  • 支持一套脚本,iOS & Android & 模拟器,三端运行
  • 提供丰富的页面跳转方式,看不到也能去得到
  • 可以获取和设置小程序页面数据,让测试不止点点点
  • 支持往 AppSerive 注入代码片段
  • 可以使用 minium 来进行函数的 mock, 可以直接跳转到小程序某个页面并设置页面数据, 做针对性的全面测试

缺点:

  • 暂不支持H5页面的调试;
  • 暂不支持插件内wx接口调用;

3.选型

精选小程序主要是原生页面,minium和Jest均能满足需求。minium支持Python 和 JavaScript 版本,而且有专门的团队定期维护,遇到问题可以在微信开发者社区进行提问,因此选择了minium。

三、minium介绍

minium提供一个基于unittest封装好的测试框架,利用这个简单的框架对小程序测试可以起到事半功倍的效果。

测试基类Minitest会根据测试配置进行测试,minitest向上继承了unittest.TestCase,并做了以下改动:

  1. 加载读取测试配置
  2. 在合适的时机初始化minium.Minium、minium.App和minium.Native
  3. 根据配置打开IDE,拉起小程序项目和或自动打开真机调试
  4. 拦截assert调用,记录检验结果
  5. 记录运行时数据和截图,用于测试报告生成

使用MiniTest可以大大降低小程序测试成本。

Properties:

名称 类型 默认值 说明
app minium.App None App实例,可直接调用minium.App中的方法
mini minium.Minium None Minium实例,可直接调用minium.Minium中的方法
native minium.Native None Native实例,可直接调用minium.Native中的方法

代码示例:

#!/usr/bin/env python3
import minium
class FirstTest(minium.MiniTest):
    def test_get_system_info(self):
        sys_info = self.mini.get_system_info()
        self.assertIn("SDKVersion", sys_info)

四、环境搭建

  • 安装minium-doc,这个是小程序安装和使用的文档介绍,或者不用自己本地安装直接访问官方文档
  • 安装python 3.8及以上
  • 安装微信开发者工具(我本机使用的版本是1.05.2103200),并打开安全模式: 设置 → 安全设置 → 服务端口: 打开
  • 在工具栏菜单中点击设置,选择项目设置,切换到“本地设置”,将调试基础库选择大于2.7.3的库;

image

  • 下载minium安装包并安装,地址参考官网
安装命令:pip3 install minium-latest.zip 或者python3 setup.py install
  • 安装完成后,可执行以下命令查看版本:
minitest -v
  • 开启微信工具安全设置中的 CLI/HTTP (提供了命令行和HTTP两种调用方式)调用功能。在开发者工具的设置 → 安全设置中开启服务端口。

image

  • 开启微信工具安全设置中的 CLI/HTTP (提供了命令行和HTTP两种调用方式)调用功能。在开发者工具的设置 → 安全设置中开启服务端口。
  • 开启被测试项目的自动化端口号
"path/to/cli" auto --project "path/to/project" --auto-port 9420

默认的命令行工具所在位置:

macOS: <安装路径>/Contents/MacOS/cliWindows: <安装路径>/cli.bat

五、小程序脚本编写

思路:使用Page Object 架构,使系统架构分层,每一个页面设计为一个Class,包含了页面需要测试的元素,测试用例只要关心测试的数据即可;

1.目录结构

image

  • cases/: 存放测试脚本和用例
  • case/base/:页面公共方法
  • case/pages/:页面对象模型
  • outputs/:测试报告
  • test/:测试脚本
  • route.py:小程序页面操作的路径

2.自动化脚本

BasePage是页面基类,封装所有页面会用到的公用方法

class BasePage:
    def __init__(self, mini):
        self.mini = mini

    def navigate_to_open(self, route):
        """以导航的方式跳转到指定页面,不允许跳转到 tabbar 页面,支持相对路径和绝对路径, 小程序中页面栈最多十层"""
        self.mini.app.navigate_to(route)

    def redirect_to_open(self, route):
        """关闭当前页面,重定向到应用内的某个页面,不允许跳转到 tabbar 页面"""
        self.mini.app.redirect_to(route)

    def switch_tab_open(self, route):
        """跳转到 tabBar 页面,会关闭其他所有非 tabBar 页面"""
        self.mini.app.switch_tab(route)

    @property
    def current_title(self) -> str:
        """获取当前页面 head title, 具体项目具体分析,以下代码仅用于演示"""
        return self.mini.page.get_element("XXXXXX").inner_text

    def current_path(self) -> str:
        """获取当前页面route"""
        return self.mini.page.path

HomePage是要测试的精选首页页面

from case.base.basepage import BasePage
from case.base import route


class HomePage(BasePage):
    """小程序首页公共方法"""

    locators = {
        "BASE_ELEMENT": "view",
        "BASE_BANNER": "首页banner元素选择器XXX"
    }
    # 首页点击官方补贴的"更多"按钮
    subsidy_more_button = ("跳转页面的元素选择器XXX", "更多")

    """
    校验页面路径
    """
    def check_homepage_path(self):
        self.mini.assertEqual(self.current_path(), route.homepage_route)
    """
    校验页面的基本元素
    """
    def check_homepage_base_element(self):
        # 校验页面是否包含view元素
        self.mini.assertTrue(self.mini.page.element_is_exists(HomePage.locators['BASE_ELEMENT']))
        # 校验页面banner位置
        self.mini.assertTrue(self.mini.page.element_is_exists(HomePage.locators['BASE_BANNER']))
    """
    获取官方补贴,点击"更多"按钮跳转
    """
    def get_subsidy_element(self):
        self.mini.page.get_element(str(self.subsidy_more_button[0]),
                                   inner_text=str(self.subsidy_more_button[1])).click()

BaseCase是测试用例基类,用于设置用例输出路径和清理工作,项目的测试用例都继承此类

from pathlib import Path

import minium


class BaseCase(minium.MiniTest):
    """测试用例基类"""

    @classmethod
    def setUpClass(cls):
        super(BaseCase, cls).setUpClass()
        output_dir = Path(cls.CONFIG.outputs)
        if not output_dir.is_dir():
            output_dir.mkdir()

    @classmethod
    def tearDownClass(cls):
        super(BaseCase, cls).tearDownClass()
        cls.app.go_home()

    def setUp(self):
        super(BaseCase, self).setUp()

    def tearDown(self):
        super(BaseCase, self).tearDown()

3.元素定位的方法

minium 通过 WXSS 选择器来定位元素的,目前小程序仅支持以下的选择器:

image

参考例子:

<view id="main" class="page-section page-section-gap" style="text-align: center;"></view>

假如要查找像上面这一个元素的话,他的选择器会像是下面这样:

tageName + #id + .className

view#main.page-section.page-section-gap
  • tagName :类型选择器,标签名称,view、checkbox 等等,选择所有指定类型的最简单方式。
  • id:ID 选择器,自定义给元素的唯一 ID,使用时前面跟着 # 号,这是选择单个元素的最有效的方式。
  • className:类选择器,由一个点.以及类后面的类名组成,存在多个类的时候可以以点为间隔一直拼接下

4.编写精选首页的测试用例

被测试的有赞精选小程序首页如下图:

image

HomePageTest

# coding=utf-8


from case.base import loader
from case.base.basecase import BaseCase
from case.pages.homepage import HomePage

"""
小程序首页测试
"""


class HomePageTest(BaseCase):
    def __init__(self, methodName='runTest'):
        super(HomePageTest, self).__init__(methodName)
        self.homePage = HomePage(self)

    """
     case1:测试首页的跳转路径是否正确,跳转路径要使用绝对路径,小程序默认进入就是首页,所以不用再切换进入的路径
    """

    def test_01_home_page_path(self):
        self.homePage.check_homepage_path()

    """
     case2:页面的基本元素是否存在
    """

    def test_02_page_base_element(self):
        self.homePage.check_homepage_base_element()


    """
    case3:检查首页的"官方补贴"模块存在
    """

    def test_03_live_sale(self):
        self.assertTexts(["官方补贴"], "view")
        self.assertTexts(["轻松赚回早餐钱"], "view")


    """
    case4:从首页点击"更多"跳转到直播特卖页面,页面包含"推荐"模块
    """

    def test_04_open_live_sale(self):
        # 点击首页的"更多"按钮的元素
        self.homePage.get_subsidy_element()
        self.page.wait_for(2)
        result = self.page.wait_for("页面元素选择器xxx")  # 等待页面渲染完成
        if result:
            category = self.page.data['categoryList']
            self.assertEquals("美食", category[0]['title'], "接口返回值包含美食模块")
            self.assertEquals("美妆", category[1]['title'], "接口返回值包含美妆模块")
            self.page.wait_for(2)
            self.app.go_home()


if __name__ == "__main__":
    loader.run(module="case.homepage_test", config="../config.json", generate_report=True)
5.编辑配置文件config.json
{
    "project_path": "XXXXX",
    "dev_tool_path": "/Applications/wechatwebdevtools.app/Contents/MacOS/cli",
    "debug_mode": "debug",
    "test_port": 9420,
    "platform": "ide",
    "app": "wx",
    "assert_capture": false,
    "request_timeout":60,
    "remote_connect_timeout": 300,
    "auto_relaunch": true
}

5.编辑配置文件config.json

{    "project_path": "XXXXX",    "dev_tool_path": "/Applications/wechatwebdevtools.app/Contents/MacOS/cli",    "debug_mode": "debug",    "test_port": 9420,    "platform": "ide",    "app": "wx",    "assert_capture": false,    "request_timeout":60,    "remote_connect_timeout": 300,    "auto_relaunch": true}

6.minitest 命令行

minium安装时执行的setup.py文件,指定了minitest命令运行的方法入口为:minium.framework.loader:main

image

loader.py文件解释了运行的命令行的含义

  • -h, --help: 使用帮助。
  • -v, --version: 查看 minium 的版本。
  • -p PATH/–path PATH: 用例所在的文件夹,默认当前路径。
  • -m MODULE_PATH, --module MODULE_PATH: 用例的包名或者文件名
  • –case CASE_NAME: test_开头的用例名
  • -s SUITE, --suite SUITE:测试计划文件
  • -c CONFIG, --config CONFIG:配置文件名,配置项目参考配置文件
  • -g, --generate: 生成网页测试报告
  • –module_search_path [SYS_PATH_LIST [SYS_PATH_LIST …]]: 添加 module 的搜索路径
  • -a, --accounts: 查看开发者工具当前登录的多账号, 需要通过 9420 端口,以自动化模式打开开发者工具
  • –mode RUN_MODE: 选择以parallel(并行)或者fork(复刻)的方式运行用例

7.suite测试计划文件

{
    "pkg_list": [
      {
        "case_list": [
          "test_*"
        ],
        "pkg": "case.*_test"
      }
    ]
  }

suite.json的pkglist字段说明要执行用例的内容和顺序,pkglist 是一个数组,每个数组元素是一个匹配规则,会根据pkg去匹配包名,找到测试类,然后再根据case_list里面的规则去查找测试类的测试用例。可以根据需要编写匹配的粒度。注意匹配规则不是正则表达式,而是通配符。

8.命令行运行脚本

minitest -m case.homepage_test --case test_07_open_live_sale -c config.json -g #运行执行class文件中的指定用例test_07_open_live_sale

minitest -s suite.json -c config.json -g   #按照suite配置去执行用例

9.生成测试报告

生成报告之后,在对应的目录下面有index.html文件,但是我们不能直接用浏览器打开这个 文件,需要把这个目录放到一个静态服务器上

测试结果存储在outputs下,运行命令python3 -m http.server 12345 -d outputs然后在浏览器上访问http://localhost:12345即可查看报告

六、遇到的问题

1.需要开启被测试小程序应用的自动化测试端口9420

开启被测试工程的自动化端口

"path/to/cli" auto --project "path/to/project" --auto-port 9420

2.打开微信开发者工具超时

微信开发者工具:设置-代理设置,关闭ide的代理

image

3.连接开发者工具后报错

原因:可能是微信开发者工具和minium的版本不一致;我测试使用ok的匹配版本为:Minium版本:1.0.5开发者工具版本:1.05.2102010python版本:3.8.8

4.出现以下报错,可能是登陆的开发者工具的账号,没有被测试小程序的开发者权限;

5.运行过程中,发现调用截图的方法比较耗时,但是在config文件设置了"assert_capture": false,配置没生效,仍然会去调用截图的方法;

ps:猜测是一个bug,然后给微信社区留言了,最新版本1.0.6修复了这个问题 原因:是框架的minitest.py文件调用setup和TearDown方法的时候,没有判断配置文件"assert_capture": false这个条件

可以修改minitest.py文件,增加配置文件的判断条件,修改如下:

if self.test_config.assert_capture:

            self.capture("setup")

6.命令行执行的时候加了-p xxx参数,运行时报引入的包不存在

image

原因:命令行运行时默认是当前路径,加-p xxx, 这样会导致脚本运行的PYTHONPATH变了(不是当前目录了),这样会导致包不存在

解决方法:

  • 命令行运行的时候,用-m 指定运行的包路径,不用-p
  • 把-p xxx用到的路径都加入到PYTHONPATH中

七、参考资料

  1. 微信官方文档
  2. 简书上Rethink的相关文章介绍

转自有赞Coder公众号

请问测试过程中,启动小程序如何切换成测试环境的 AppID,默认情况下,运行时是生产环境的AppID,请求的域名也是生产地址,小程序配置文件已经修改成测试环境了,但是没有请求测试环境的域名


为啥我配置 suite测试计划文件就不能执行呢?老师?

mark