Python测开28期-偕行-Allure2测试报告

学习笔记
1

一、基本使用

1、allure2基本介绍

  • Allure 是由 Java 语⾔开发的⼀个轻量级，灵活的测试报告⼯具。
  • Allure 是多平台的 Report 框架。
  • Allure ⽀持多语⾔，包括 python、JaveScript、PHP、Ruby 等。
  • 可以为开发/测试/管理等人员提供详尽的的测试报告，包括测试类别、测试步骤、日志、图片、视频等。
  • 可以为管理层提供高水准的统计报告。
  • 可以集成到 Jenkins 生成在线的趋势汇总报告。

源码地址：

https://github.com/allure-framework/allure2

2、安装

  1. 安装 Java，需要配置环境变量。
  2. 安装 Allure ，需要配置环境变量。
  3. 安装插件
    • Python：pip install allure-pytest。
    • Java：Maven插件安装。

（1）Allure2下载安装与配置

  1. 先下载 Allure 源码包到本地。

  1. 配置环境变量：解压后将 bin 目录加入 PATH 环境变量E:\myworkspace\allure-2.18.1\bin。

  2. 环境验证：allure --version；

2、 Allure2 生成测试报告流程

image
image916×389 36.2 KB

  1. 先生成中间结果，包括json，text格式；
  2. 再通过中间结果生成在线或者是静态测试报告；
  • 生成中间结果：
pytest [测试用例/模块/包] --alluredir=./result/  (—alluredir这个选项 用于指定存储测试结果的路径)
  • 生成在线的测试报告：
allure serve ./result
  • 生成静态资源报告：
allure generate ./result

3、 Allure 报告生成的两种方式

  • 方式一：在线报告，会直接打开默认浏览器展示当前报告。
# 方式一：测试完成后查看实际报告，在线查看报告，会直接打开默认浏览器展示当前报告。
allure serve ./result/
  • 方式二：静态资源文件报告(带 index.html、css、js 等文件)，需要将报告布署到 web 服务器上。
    • 应用场景：如果希望随时打开报告，可以生成一个静态资源文件报告，将这个报告布署到 web 服务器上，启动 web 服务，即可随时随地打开报告。
    • 解决方案：使用allure generate 生成带有 index.html 的结果报告。这种方式需要两个步骤：
      • 第一步：生成报告。
      • 第二步：打开报告。

# 生成报告，指定输出路径(-o / –output 输出报告的路径)，清理报告(-c / –clean 如果报告路径重复)。
allure generate ./result -o ./report --clean

# 打开报告，指定IP地址和端口。
# -h / –host 主机 IP 地址，此主机将用于启动报表的 web 服务器。
# -p / –port 主机端口，此端口将用于启动报表的 web 服务器，默认值：0。
allure open -h 127.0.0.1 -p 8883 ./report/

4、allure常用命令

  • 执行测试用例并生成报告数据：pytest .\test_allure\ --alluredir ./report --clean-alluredir；

    • --alluredir ./report：把报告数据放到当前路径的report文件夹里；
    • --clean-alluredir：清空allure报告数据存放文件夹里的数据，也就是每次执行产生的数据都是最新的，如果不加这个参数，报告数据会一直追加到文件夹内；

  • 生成在线报告并在自带浏览器打开：allure serve ./report，./report当前路径下的report文件；

  • 生成报告并将issue中bug编号和连接在报告中显示：`pytest .\test_allure\test_allure_links.py --alluredir=./report --clean-alluredir --allure-link-pattern=issue:‘http://www.mytesttracker.com/issue/{}’；

  • 执行指定优先级的用例：pytest .\test_allure\test_allure_severity.py --alluredir=./report --clean-alluredir --allure-severities normal,critical；

二、Allure装饰器

image
image990×349 91.4 KB

1、Allure2 报告中添加用例步骤

  • 方法一@allure.step：使用装饰器定义一个测试步骤，在测试用例中使用。
    • 使用装饰器定义测试步骤，然后在测试用例中调用测试步骤，相当于简单的方法调用，然后测试步骤在装饰器函数中实现；
#定义测试步骤一
@allure.step
def simple_step1(step_param1, step_param2 = None):
    '''定义一个测试步骤'''
    print(f"步骤1：打开页面，参数1: {step_param1}, 参数2：{step_param2}")

# 定义测试步骤二
@allure.step
def simple_step2(step_param):
    '''定义一个测试步骤'''
    print(f"步骤2：完成搜索 {step_param} 功能")

@pytest.mark.parametrize('param1', ["pytest", "allure"], ids=['search pytest', 'search allure'])
def test_parameterize_with_id(param1):
    simple_step2(param1)

@pytest.mark.parametrize('param1', [True, False])
@pytest.mark.parametrize('param2', ['value 1', 'value 2'])
def test_parametrize_with_two_parameters(param1, param2):
    simple_step1(param1, param2)
  • 方法二：代码中使用 with allure.step() 添加测试步骤。
    • 步骤在测试用例中实现，具体的步骤会出现在测试报告中；
import allure

@allure.title("搜索用例")
def test_step_in_method():
    with allure.step("测试步骤一：打开页面"):
        print("操作 a")
        print("操作 b")

    with allure.step("测试步骤二：搜索"):
        print("搜索操作 ")

    with allure.step("测试步骤三：断言"):
        assert True

image
image1154×425 22.8 KB

2、allure2报告中添加链接：用例链接、bug链接、普通链接

  • @allure.link(link,name=)；
  • @allure.testcase(link,name=)；
  • @allure.issue(link,name=)；
import allure

# 普通链接，没有名称
@allure.link('https://ceshiren.com/t/topic/15860')
def test_with_link():
    pass

# 添加一个普通的link 链接，添加链接名称
@allure.link('https://www.baidu.com', name='这是链接地址-baidu')
def test_with_named_link():
    pass

# 添加用例管理系统链接
TEST_CASE_LINK = 'https://github.com/qameta/allure-integrations/issues/8#issuecomment-268313637'

@allure.testcase(TEST_CASE_LINK, name='用例管理系统')
def test_with_testcase_link():
    pass

# 添加bug管理系统链接
# 这个装饰器在展示的时候会带 bug 图标的链接。可以在运行时通过参数 `--allure-link-pattern` 指定一个模板链接，以便将其与提供的问题链接类型链接模板一起使用。执行命令需要指定模板链接：--allure-link-pattern=issue:'https://ceshiren.com/t/topic/{}'，bug编号1111会在报告中点击链接是自动写入并访问
@allure.issue("1111", name='bug管理系统')
def test_with_issue():
    pass

执行命令：

# 生成测试报告中间数据
pytest .\test_link_issue_testcase.py --alluredir=./report --clean-alluredir --allure-link-pattern=issue:'https://ceshiren.com/t/topic/{}'
# 生成在线测试报告
allure serve .\report\

image
image830×296 25.7 KB

3、Allure2报告中添加用例分类

  • 应用场景：可以为项目，以及项目下的不同模块对用例进行分类管理。也可以运行某个类别下的用例。
  • 报告展示：类别会展示在测试报告的 Behaviors 栏目下。
  • Allure 提供了三个装饰器：
    • @allure.epic：敏捷里面的概念，定义史诗，往下是 feature。
    • @allure.feature：功能点的描述，理解成模块，往下是 story。
    • @allure.story：故事 story 是 feature 的子集。

（1）Allure 分类 - epic

  • 场景：希望在测试报告中看到用例所在的项目，需要用到 epic，相当于定义一个项目的需求，由于粒度比较大，在 epic 下面还要定义略小粒度的用户故事。
  • 解决：@allure.epic

（2）Allure 分类 - feature/story

  • 场景: 希望在报告中看到测试功能，子功能或场景。
  • 解决: @allure.Feature、@allure.story
  • 步骤：
    • 功能上加 @allure.feature('功能名称')
    • 子功能上加 @allure.story('子功能名称') 
import allure

@allure.epic("需求1")
@allure.feature("功能模块1")
class TestEpic1:
    @allure.story("子功能1")
    @allure.title("用例1")
    def test_case1(self):
        print("用例1")

    @allure.story("子功能2")
    @allure.title("用例2")
    def test_case2(self):
        print("用例2")

@allure.epic("需求1")
@allure.feature("功能模块2")
class TestEpic2:
    @allure.story("子功能1")
    @allure.title("用例1")
    def test_case1(self):
        print("用例1")

    @allure.story("子功能2")
    @allure.title("用例2")
    def test_case2(self):
        print("用例2")

image

（3）Allure 运行 feature/story

  • allure 相关的命令查看 ： pytest --help|grep allure
  • 通过指定命令行参数，运行 epic/feature/story 相关的用例：pytest 文件名 --allure-epics=EPICS_SET --allure-features=FEATURES_SET --allure-stories=STORIES_SET 
# 只运行 epic 名为 "需求1" 的测试用例
pytest --alluredir ./results --clean-alluredir --allure-epics=需求1

# 只运行 feature 名为 "功能模块2" 的测试用例
pytest --alluredir ./results --clean-alluredir --allure-features=功能模块2

# 只运行 story 名为 "子功能1" 的测试用例
pytest --alluredir ./results --clean-alluredir --allure-stories=子功能1

# 运行 story 名为 "子功能1和子功能2" 的测试用例
pytest --alluredir ./results --clean-alluredir --allure-stories=子功能1,子功能2

# 运行 feature + story 的用例（取并集）
pytest --alluredir ./results --clean-alluredir --allure-features=功能模块1 --allure-stories=子功能1,子功能2

（4）Allure epic/feature/story 的关系

  • epic：敏捷里面的概念，用来定义史诗，相当于定义一个项目。

  • feature：相当于一个功能模块，相当于 testsuite，可以管理很多个子分支 story。

  • story：相当于对应这个功能或者模块下的不同场景，分支功能。

  • epic 与 feature、feature 与 story 类似于父子关系。

4、Allure2 报告中添加用例描述

  • 应用场景：Allure 支持往测试报告中对测试用例添加非常详细的描述语，用来描述测试用例详情。

  • Allure 添加描述的四种方式：

    • 方式一：使用装饰器 @allure.description() 传递一个字符串参数来描述测试用例。

    • 方式二：使用装饰器 @allure.description_html 传递一段 HTML 文本来描述测试用例。

    • 方式三：直接在测试用例方法中通过编写文档注释的方法来添加描述。

    • 方式四：用例代码内部动态添加描述信息allure.dynamic.description("")或者allure.dynamic.description_html。–这种方式会替换掉装饰器方式的描述。

import allure

@allure.description("""
多行描述语：<br/>
这是通过传递字符串参数的方式添加的一段描述语，<br/>
使用的是装饰器 @allure.description
""")
def test_description_provide_string():
    assert True

@allure.description_html("<h1>这是用例html描述</h1>")
def test_description_privide_html():
    assert True

def test_description_docstring():
    """
    直接在测试用例方法中 <br/>
    通过编写文档注释的方法 <br/>
    来添加描述。
    :return:
    """
    assert True

@allure.description("""这个描述将被替换""")
def test_dynamic_description():
    assert 42 == int(6 * 7)
    allure.dynamic.description('这是最终的描述信息')
    allure.dynamic.description_html('<h1>这是用例html描述--最终描述</h1>')

image
image1124×536 53.7 KB

5、Allure2报告中添加用例优先级

  • 应用场景：用例执行时，希望按照严重级别执行测试用例。

  • 解决：可以为每个用例添加一个等级的装饰器，用法：@allure.severity。

  • Allure 对严重级别的定义分为 5 个级别：

    • Blocker级别：中断缺陷（客户端程序无响应，无法执行下一步操作）。
    • Critical级别：临界缺陷（ 功能点缺失）。
    • Normal级别：普通缺陷（数值计算错误）。–默认级别。
    • Minor级别：次要缺陷（界面错误与UI需求不符）。
    • Trivial级别：轻微缺陷（必输项无提示，或者提示不规范）。

  • 命令：使用--allure-severities指定级别，多个用英文逗号隔开；

pytest .\allure_decorator\test_severity.py --alluredir .\report\ --clean-alluredir --allure-severities normal,trivial

注意：

  • 1、类外：如果未指定就是默认normal级别；
  • 2、类中：如果类指定了，类中没有指定的就跟着类的级别；如果类没有指定，用例也没有指定，那就是默认normal级别；
import allure

# 不指定就是默认normal级别
def test_with_no_severity_label():
    pass

@allure.severity(allure.severity_level.TRIVIAL)
def test_with_trivial_severity():
    pass

@allure.severity(allure.severity_level.NORMAL)
def test_with_normal_severity():
    pass

# @allure.severity(allure.severity_level.TRIVIAL)
class TestClassWithNormalSeverity(object):
    # 类如果指定了，类中没有指定的会跟随这个级别---如果类没有指定就是默认normal级别
    def test_inside_the_normal(self):
        pass

    @allure.severity(allure.severity_level.CRITICAL)
    def test_critical_severity(self):
        pass

    @allure.severity(allure.severity_level.BLOCKER)
    def test_blocker_severity(self):
        pass

image
image1135×413 23.6 KB

6、Allure2 报告中支撑添加用例mark标签并显示在报告tags中

（1）Allure2 添加用例标签-xfail、skipif

import pytest

# 当用例通过时标注为 xfail
@pytest.mark.xfail(condition=lambda: True, reason='这是一个预期失败的用例')
def test_xfail_expected_failure():
    """this test is an xfail that will be marked as expected failure"""
    assert False

# 当用例通过时标注为 xpass
@pytest.mark.xfail
def test_xfail_unexpected_pass():
    """this test is an xfail that will be marked as unexpected success"""
    assert True

# 跳过用例
@pytest.mark.skipif('2 + 2 != 5', reason='当条件触发时这个用例被跳过 @pytest.mark.skipif')
def test_skip_by_triggered_condition():
    pass

image
image1351×494 40 KB

（2）Allure2 添加用例标签-fixture

  • 应用场景：fixture 和 finalizer 是分别在测试开始之前和测试结束之后由 Pytest 调用的实用程序函数。Allure 跟踪每个 fixture 的调用，并详细显示调用了哪些方法以及哪些参数，从而保持了调用的正确顺序。
import pytest

@pytest.fixture()
def func(request):
    print("这是一个fixture方法")

    # 定义一个终结器，teardown动作放在终结器中
    def over():
        print("session级别终结器")
    request.addfinalizer(over)

class TestClass(object):
    def test_with_scoped_finalizers(self,func):
        print("测试用例")

image
image1384×551 28.1 KB

7、Allure2报告中支持记录失败重试功能

  • 场景：Allure 可以收集用例运行期间，重试的用例的结果，以及这段时间重试的历史记录。

  • 重试功能可以使用 pytest 相关的插件，例如 pytest-rerunfailures，自动重试指定此时；

  • 重试的结果信息，会展示在详情页面的”Retries” 选项卡中。

import pytest

@pytest.mark.flaky(reruns=2, reruns_delay=2)
def test_rerun2():
    assert False

image
image1196×603 30.4 KB

8、Allure2 报告中添加附件

（1）附件文件类型allure.attachment_type 

TEXT = ("text/plain", "txt")
CSV = ("text/csv", "csv")
TSV = ("text/tab-separated-values", "tsv")
URI_LIST = ("text/uri-list", "uri")

HTML = ("text/html", "html")
XML = ("application/xml", "xml")
JSON = ("application/json", "json")
YAML = ("application/yaml", "yaml")
PCAP = ("application/vnd.tcpdump.pcap", "pcap")

PNG = ("image/png", "png")
JPG = ("image/jpg", "jpg")
SVG = ("image/svg-xml", "svg")
GIF = ("image/gif", "gif")
BMP = ("image/bmp", "bmp")
TIFF = ("image/tiff", "tiff")

MP4 = ("video/mp4", "mp4")
OGG = ("video/ogg", "ogg")
WEBM = ("video/webm", "webm")

PDF = ("application/pdf", "pdf")

（2）Allure2 报告中添加附件-图片

  • 应用场景：在做 UI 自动化测试时，可以将页面截图，或者出错的页面进行截图，将截图添加到测试报告中展示，辅助定位问题。
  • 解决方案：使用 allure.attach() 或者 allure.attach.file() 添加图片。

A、allure.attach.file()

  • 语法：
allure.attach.file(source, name, attachment_type, extension)
  • 参数：
    • source：文件路径，相当于传一个文件。
    • name：附件名字。
    • attachment_type：附件类型，是 allure.attachment_type 其中的一种(支持 PNG、JPG、BMP、GIF 等)。
    • extension：附件的扩展名。

B、allure.attach()

  • 语法：
allure.attach(body, name=None, attachment_type=None, extension=None)
  • 参数：
    • body：要写入附件的内容，如果是图片需要读成二进制格式；
    • name：附件名字。
    • attachment_type：附件类型，是 allure.attachment_type 其中的一种(支持 PNG、JPG、BMP、GIF 等)。
    • extension：附件的扩展名。
import allure

def test_picture1():
    allure.attach.file('E:/hogwartscode/allureframe/allure_decorator/pic.png',
                       name="图片",
                       attachment_type=allure.attachment_type.PNG,
                       extension="png")

def test_picture2():
    with open('E:/hogwartscode/allureframe/allure_decorator/logo.png', mode="rb") as f:
        file = f.read()
        allure.attach(file,
                      name="页面截图",
                      attachment_type=allure.attachment_type.PNG,
                      extension="png")

image
image1496×636 91.7 KB

（3）Allure2 报告中添加附件-日志

  • 应用场景：报告中添加详细的日志信息，有助于分析定位问题。

  • 解决方案：使用 python 自带的 logging 模块生成日志，日志会自动添加到测试报告中。

  • 日志配置：在测试报告中使用 logger 对象生成对应级别的日志。

  • 报告中显示在 Test body 标签下：

    • log 子标签：展示日志信息。
    • stdout 子标签：展示 print 信息。
    • stderr 子标签：展示终端输出的信息。

注意：
1、执行用例的时候不要使用-vs参数，如果使用了日志就会被输出到控制台；
2、禁用日志，可以使用命令行参数控制 --allure-no-capture；

pytest .\allure_decorator\test_logging.py --alluredir .\report\ --clean-alluredir --allure-no-capture

log_utils.py

import logging
import os

from logging.handlers import RotatingFileHandler

# 绑定绑定句柄到logger对象
logger = logging.getLogger(__name__)
# 获取当前工具文件所在的路径
root_path = os.path.dirname(os.path.abspath(__file__))
# 拼接当前要输出日志的路径
log_dir_path = os.sep.join([root_path, f'/logs'])
if not os.path.isdir(log_dir_path):
    os.mkdir(log_dir_path)
# 创建日志记录器，指明日志保存路径,每个日志的大小，保存日志的上限
file_log_handler = RotatingFileHandler(os.sep.join([log_dir_path, 'log.log']), maxBytes=1024 * 1024, backupCount=10 , encoding="utf-8")
# 设置日志的格式
date_string = '%Y-%m-%d %H:%M:%S'
formatter = logging.Formatter(
    '[%(asctime)s] [%(levelname)s] [%(filename)s]/[line: %(lineno)d]/[%(funcName)s] %(message)s ', date_string)
# 日志输出到控制台的句柄
stream_handler = logging.StreamHandler()
# 将日志记录器指定日志的格式
file_log_handler.setFormatter(formatter)
stream_handler.setFormatter(formatter)
# 为全局的日志工具对象添加日志记录器
# 绑定绑定句柄到logger对象
logger.addHandler(stream_handler)
logger.addHandler(file_log_handler)
# 设置日志输出级别
logger.setLevel(level=logging.INFO)

test_logger.py

from utils.log_util import logger

class TestWithLogger:
    def test_case1(self):
        print("test_case1执行")
        logger.info("用例1的 info 级别的日志")
        logger.debug("用例1的 debug 级别的日志")
        logger.error("用例1的 error 级别的日志")

    def test_case2(self):
        print("test_case2执行")
        logger.warning("用例2的 warning 级别的日志")
        logger.fatal("用例2的  fatal 级别的日志")

image
image1660×566 41.8 KB

（4）Allure2 报告中添加附件-html

  • 应用场景：可以定制测试报告页面效果，可以将 HTML 类型的附件显示在报告页面上。
  • 解决方案：使用 allure.attach() 添加 html 代码块或者使用allure.attach.file()添加html文件。
import allure

#添加html代码块 
def test_html():
    allure.attach(body='<head></head><body> a page </body>',
                  name='html代码块',
                  attachment_type=allure.attachment_type.HTML)

# 添加html文件
def test_html_part():
    allure.attach.file(source='E:/hogwartscode/allureframe/allure_decorator/allure_attach.html',
                       name='html文件',
                       attachment_type=allure.attachment_type.HTML,
                       extension="html")

image
image1666×553 32.2 KB

（5）Allure2 报告中添加附件-视频

  • 应用场景：在做 UI 自动化测试时，可以将页面截图，或者出错的页面进行截图，将截图添加到测试报告中展示，辅助定位问题。
  • 解决方案：使用 allure.attach.file() 添加视频。
import allure

def test_video():
    allure.attach.file(source="E:/hogwartscode/allureframe/allure_decorator/allure_attach.mp4",
                       name="视频",
                       attachment_type=allure.attachment_type.MP4,
                       extension="mp4")

image
image1654×759 136 KB

三、allure报告定制

  • 应用场景：针对不同的项目可能需要对测试报告展示的效果进行定制，比如修改页面的 logo、修改项目的标题或者添加一些定制的功能等等。

1、Allure2 报告定制-页面 Logo和标题

    1. 修改allure.yml 文件，添加 logo 插件custom-logo-plugin（在 allure 安装路径下，可以通过 where allure 或者which allure查看 allure 安装路径）。
    1. 编辑 styles.css 文件，配置 logo 图片，logo图片和 styles.css 文件放在同级目录下目录：
/xxx/allure-2.13.2/plugins/custom-logo-plugin/static/styles.css
  • 3.在xxx\allure-2.24.1\config中的**allure.yml文件**中加入- custom-logo-plugin；

style.css文件

# 目录在：/xxx/allure-2.13.2/plugins/custom-logo-plugin/static/styles.css，
将内容修改为：

/* 设置logo图片*/
.side-nav__brand {
  background: url("hogwarts.png") no-repeat left center !important;
  margin-left: 10px;
  height: 40px;
  background-size: contain !important;
}

/* 设置原文字“Allure”不显示，在下方重新定义标题 */
.side-nav__brand-text {
  display: none;
}

/* 给报告重新设置标题 */
.side-nav__brand:after {
  content: "霍格沃兹测试学社";
  margin-left: 18px;
  height: 20px;
  font-family: Arial;
  font-size: 13px;
}

allure.yml文件

plugins:
  - junit-xml-plugin
  - xunit-xml-plugin
  - trx-plugin
  - behaviors-plugin
  - packages-plugin
  - screen-diff-plugin
  - xctest-plugin
  - jira-plugin
  - xray-plugin
  - custom-logo-plugin

效果：

image