首页 > 作文

浅谈基于Pytest框架的自动化测试开发实践

更新时间:2023-04-04 05:02:06 阅读: 评论:0

目录
01 — pytest核心功能 02 — 创建测试项目 03 — 编写测试用例 04 — 执行测试用例 05 — 数据与脚本分离 06 — 参数化 07 — 测试配置管理 08 — 测试的准备与收尾 09 — 标记与分组 10 — 并发执行 11 — 测试报告 12 — 总结 参考资料

pytest是python的一种易用、高效和灵活的单元测试框架,可以支持单元测试和功能测试。本文不以介绍pytest工具本身为目的,而是以一个实际的api测试项目为例,将pytest的功能应用到实际的测试工程实践中,教大家将pytest用起来。

在开始本文之前,我想跟大家澄清两个概念,一个是测试框架一个是测试工具。很多人容易把他们搞混了,测试框架是诸如unittest、pytest、testng这类,而测试工具指的则是lenium、appium、jmeter这类。

测试框架的作用是,帮助我们管理测试用例、执行测试用例、参数化、断言、生成测试报告等基础性工作,让我们将精力用在测试用例的编写上。好的测试框架应该具有很高的扩展性,支持二次开发,并能够支持多种类型的自动化测试。

测试工具的作用是为了完成某一类型的测试,比如lenium用于对web ui进行自动化测试,appium用来对app进行自动化测试,jmeter可以用来进行api自动化测试和性能测试。另外,java语言中okhttp库,python语言中的requests库,这些http的client也可以看做是一种api测试工具。

澄清了这两个概念,说一下本文的目的。其实网上已经有很多教程,包括官方文档,都是以介绍pytest的功能为出发点,罗列了各种功能的使用方法,大家看完之后会感觉都明白了,但是还是不知道如何与实际项目相结合,真正落地用起来。本文不以介绍pytest工具本身为目的,而是以一个实际的api测试项目为例,通过单元测试框常见函数图像架pytest和python的requests库相结合,将pytest功能应用到实际的测试工程实践中,教大家将pytest用起来。

请相信我,使用pytest会让你的测试工作非常高效。

01 — pytest核心功能

在开始使用pytest之前,先来了解一下pytest的核心功能,根据官方网站介绍,它具有如下功能和特点:

非常容易上手,入门简单,文档丰富,文档中有很多实例可以参考。能够支持简单的单元测试和复杂的功能测试。支持参数化。能够执行全部测试用例,也可以挑选部分测试用例执行,并能重复执行失败的用例。支持并发执行,还能运行由no, unittest编写的测试用例。方便、简单的断言方式。能够生成标准的junit xml格式的测试结果。具有很多第三方插件,并且可以自定义扩展。方便的和持续集成工具集成。

pytest的安装方法与安装其他的python软件无异,直接使用pip安装即可。

$ pip install -u pytest

安装完成后,可以通过下面方式验证是否安装成功:

$ py.test --help

如果能够输出帮助信息,则表示安装成功了。

接下来,通过开发一个api自动化测试项目,详细介绍以上这些功能是如何使用的。

02 — 创建测试项目

先创建一个测试项目目录api_pytest,为这个项目创建虚拟环境。关于虚拟环境的创建,可以参考这篇文章《利用pyenv和pipenv管理多个相互独立的python虚拟开发环境》。这里我们直接介绍如何使用,执行下面两条命令:

$ mkdir api_pytest$ pipenv --python 3.7.7

这样,项目目录和虚拟环境就创建完成了。

接着,安装依赖包,第一个是要安装pytest,另外本文是以api自动化测试为例,因此还要安装一下http 的client包requests。

$ pipenv install pytest requests

现在我们创建一个data目录,用来存放测试数据,一个tests目录,用来存放测试脚本,一个config目录,用来存放配置文件,一个utils目录从来存放工具。

$ mkdir data$ mkdir tests$ mkdir config$ mkdir utils

现在,项目的目录结构应该是如下这样:

$ tree.├── pipfile├── pipfile.lock├── config├── data├── tests└── utils​4 directories, 2 files

至此测试项目就创建完成了。接着编写测试用例。

03 — 编写测试用例

在这部分,我们以测试豆瓣电影列表api和电影详情api为例,编写测试用例。

这两个api信息如下:

接口示例电影列表http://api.douban.com/v2/movie/in_theaters?apikey=0df993c66c0c636e29ecbb5344252a4a&start=0&count=10电影详情https://api.douban.com/v2/movie/subject/30261964?apikey=0df993c66c0c636e29ecbb5344252a4a

我们先写电影列表api的自动化测试用例,设置3个校验点:

验证请求中的start与响应中的start一致。验证请求中的count与响应中的count一致。验证响应中的title是”正在上映的电影-上海”。

在tests目录里面,创建个test_in_theaters.py文件,里面编写测试用例,内容如下:

import requestsclass testintheaters(object):    def test_in_theaters(lf):        host = "http://api.douban.com"        path = "/v2/movie/in_theaters"        params = {"apikey": "0df993c66c0c636e29ecbb5344252a4a",                  "start": 0,                  "count": 10                  }        headers = {            "ur-agent": "mozilla/5.0 (macintosh; intel mac os x 10_14_5) applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.149 safari/537.36"        }        r = requests.request("get", url=host + path, headers=headers, params=params)        respon = r.json()        asrt respon["count"] == params["count"]        asrt respon["start"] == params["start"]        asrt respon["title"] == "正在上映的电影-上海", "实际的标题是:{}".format(respon["title"])

你可能会问,这就是测试用例了?这就是基于pytest的测试用例了吗?答案是肯定的。基于pytest编写自动化测试用例,与编写平常的python代码没有任何区别,唯一的区别在于文件名、函数名或者方法名要以test_开头或者_test结尾,类名以test开头。

pytest会在test_*.py 或者 *_test.py 文件中,寻找class外边的test_开头的函数,或者test开头的class里面的test_开头的方法,将这些函数和方法作为测试用例来管理。可以通过下面的命令,查看pytest收集到哪些测试用例:

$ py.test --collect-only====================================================== test ssion starts =======================================================platform darwin -- python 3.7.7, pytest-5.4.1, py-1.8.1, pluggy-0.13.1rootdir: /urs/chunming.liu/learn/api_pytestcollected 1 item                                                                                                                 <module tests/test_in_theaters.py>  <class testintheaters>      <function test_in_theaters>​===================================================== no tests ran in 0.10s ======================================================

从结果中看到,一共有一条测试用例,测试用例位于tests/test_in_theaters.py这个module里面testintheaters这个类中的test_in_theaters这个方法。

在pytest中断言使用的是python自带的asrt语句,非常简单。

04 — 执行测试用例

下面来运行这个测试:

$ py.test tests/====================================================== test ssion starts =======================================================platform darwin -- python 3.7.7, pytest-5.4.1, py-1.8.1, pluggy-0.13.1rootdir: /urs/chunming.liu/learn/api_pytestcollected 1 item​tests/test_in_theaters.py .                                                                                                [100%]​======================================================= 1 pasd in 0.61s ========================================================(api_pytest) mbc02x21w4g8wn:api_pytest chunming.liu$ py.test tests/====================================================== test ssion starts =======================================================platform darwin -- python 3.7.7, pytest-5.4.1, py-1.8.1, pluggy-0.13.1rootdir: /urs/chunming.liu/learn/api_pytestcollected 1 item​tests/test_in_theaters.py f                                                                                                [100%]​============================================================ failures ============================================================________________________________________________ testinthea赞美女人的诗ters.test_in_theaters _________________________________________________​lf = <test_in_theaters.testintheaters object at 0x110eee9d0>​    def test_in_theaters(lf):        host = "http://api.douban.com"        path = "/v2/movie/in_theaters"        params = {"apikey": "0df993c66c0c636e29ecbb5344252a4a",                  "start": 0,                  "count": 10                  }        headers = {            "ur-agent": "mozilla/5.0 (macintosh; intel mac os x 10_14_5) applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.149 safari/537.36"        }        r = requests.request("get", url=host + path, headers=headers, params=params)        respon = r.json()        asrt respon["count"] == params["count"]        asrt respon["start"] == params["start"]        asrt respon["total"] == len(respon["subjects"])​>       asrt respon["title"] == "正在上映的电影-上海", "实际的标题是:{}".format(respon["title"])e       asrtionerror: 实际的标题是:正在上映的电影-北京e       asrt '正在上映的电影-北京' == '正在上映的电影-上海'e         - 正在上映的电影-上海e         ?         ^^e         + 正在上映的电影-北京e         ?         ^^​tests/test_in_theaters.py:20: asrtionerror==================================================== short test summary info =====================================================failed tests/test_in_theaters.py::testintheaters::test_in_theaters - asrtionerror: 实际的标题是正在上映的电影-北京======================================================= 1 failed in 0.96s ========================================================

这个命令执行时,会在tests/目录里面寻找测试用例。执行测试的时候,如果不指定测试用例所在目录,pytest会在当前的目录下,按照前面介绍的规则寻找测试用例并执行。

通过上面的测试输出,我们可以看到该测试过程中,一共收集到了一个测试用例,测试结果是失败的(标记为f),并且在failures部分输出了详细的错误信息,通过这些信息,我们可以分析测试失败的原因。上面测试用例的失败原因是在断言title的时候出错了,预期的title是“正在上映的电影-上海”,但是实际是“正在上映的电影-北京”,预期和实际的对比非常直观。

执行测试用例的方法还有很多种,都是在py.test后面添加不同的参数即可,我在下面罗列了一下:

$ py.test               # run all tests below current dir$ py.test test_module.py   # run tests in module$ py.test somepath      # run all tests below somepath$ py.test -k stringexpr # only run tests with names that match the                      # the "string expression", e.g. "myclass and not method"                      # will lect testmyclass.test_something                      # but not testmyclass.test_method_simple$ py.test test_module.py::test_func # only run tests that match the "node id",                                    # e.g "test_mod.py::test_func" will lect                                    # only test_func in test_mod.py

上面这些用法,通过注释很容易理解。在测试执行过程中,这些方法都有机会被用到,最好掌握一下。

05 — 数据与脚本分离

03小节的测试用例,将测试数据和测试代码放到了同一个py文件中,而且是同一个测试方法中,产生了紧耦合,会导致修改测试数据或测试代码时,可能会相互影响,不利于测试数据和测试脚本的维护。比如,为测试用例添加几组新的测试数据,除了准备测试数据外,还要修改测试代码,降低了测试代码的可维护性。

另外接口测试往往是数据驱动的测试,测试数据和测试代码放到一起也不方便借助pytest做参数化。

将测试代码和测试数据分离已经是测试领域中的共识了。在data/目录下创建一个用于存放测试数据的yaml文件test_in_theaters.yaml,内容如下:

---tests:- ca: 验证响应中start和count与请求中的参数一致  http:    method: get    path: /v2/movie/in_theaters    headers:      ur-agent: mozilla/5.0 (macintosh; intel mac os x 10_14_5) applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.149 safari/537.36    params:      apikey: 0df993c66c0c636e29ecbb5344252a4a      start: 0      count: 10  expected:    respon:      title: 正在上映的电影-上海      count: 10      start: 0

熟悉yaml格式的同学,应该很容易看懂上面测试数据文件的内容。这个测试数据文件中,有一个数组tests,里面包含的是一条完整的测试数据。一个完整的测试数据由三部分组成:

ca,表示测试用例名称。http,表示请求对象。expected,表示预期结果。

http这个请求对象包含了被测接口的所有参数,包括请求方法、请求路径、请求头、请求参数。
expected表示预期结果,上面的测试数据中,只列出了对请求响应的预期值,实际测试中,还可以列出对数据库的预期值。

测试脚本也要做相应的改造,需要读取test_in_theaters.yaml文件获取请求数据和预期结果,然后通过requests发出请求。修改后的测试代码如下:

import requestsimport yaml​​def get_test_data(test_data_path):   十万左右的车排行榜 ca = []  # 存储测试用例名称    http = []  # 存储请求对象    expected = []  # 存储预期结果    with open(test_data_path) as f:        dat = yaml.load(f.read(), loader=yaml.safeloader)        test = dat['tests']        for td in test:            ca.append(td.get('ca', ''))            http.append(td.get('http', {}))            expected.append(td.get('expected', {}))    parameters = zip(ca, http, expected)    return ca, parameters​​cas, parameters = get_test_data("/urs/chunming.liu/learn/api_pytest/data/test_in_theaters.yaml")list_params=list(parameters)​class testintheaters(object):    def test_in_theaters(lf):        host = "http://api.douban.com"        r = requests.request(list_params[0][1]["method"],                             url=host + list_params[0][1]["path"],                             headers=list_params[0][1]["headers"],                             params=list_params[0][1]["params"])        respon = r.json()        asrt respon["count"] == list_params[0][2]['respon']["count"]        asrt respon["start"] == list_params[0][2]['respon']["start"]        asrt respon["total"] == len(respon["subjects"])        asrt respon["title"] == list_params[0][2]['respon']["title"], "实际的标题是:{}".format(respon["title"])

注意,读取yaml文件,需要安装pyyaml包。

测试脚本中定义了一个读取测试数据的函数get_test_data,通过这个函数从测试数据文件test_in_theaters.yaml中读取到了测试用例名称ca,请求对象http和预期结果expected。这三部分分别是一个列表,通过zip将他们压缩到一起。

测试方法test_in_theaters并没有太大变化,只是发送请求所使用的测试数据不是写死的,而是来自于测试数据文件了。

通常情况下,读取测试数据的函数不会定义在测试用例文件中,而是会放到utils包中,比如放到utils/commonlib.py中。至此,整个项目的目录结构应该是如下所示:

$ tree.├── pipfile├── pipfile.lock├── config├── data│   └── test_in_theaters.yaml├── tests│   └── test_in_theaters.py└── utils    └── commlib.py

这样,我们修改测试脚本,就修改test_in_theaters.py,变更测试数据,就修改test_in_theaters.yaml。但是目前看,感觉好像并没有真正看到测试数据和脚本分离的厉害之处,或者更加有价值的地方,那么我们接着往下看。

06 — 参数化

上面我们将测试数据和测试脚本相分离,如果要为测试用例添加更多的测试数据,往tests数组中添加更多的同样格式的测试数据即可。这个过程叫作参数化。

参数化的意思是对同一个接口,使用多种不同的输入对其进行测试,以验证是否每一组输入参数都能得到预期结果。pytest提供了pytest.mark.paramtrize这种方式来进行参数化,我们先看下官方网站提供的介绍pytest.mark.paramtrize用法的例子:

# content of tests/test_time.pyimport pytest​from datetime import datetime, timedelta​testdata = [    (datetime(2001, 12,时间可数吗 12), datetime(2001, 12, 11), timedelta(1)),    (datetime(2001, 12, 11), datetime(2001, 12, 12), timedelta(-1)),]​​@pytest.mark.parametrize("a,b,expected", testdata)def test_timedistance_v0(a, b, expected):    diff = a - b    asrt diff == expected

执行上面的脚本将会得到下面的输出,测试方法test_timedistance_v0被执行了两遍,第一遍执行用的测试数据是testdata列表中的第一个元组,第二遍执行时用的测试数据是testdata列表中的第二个元组。这就是参数化的效果,同一个脚本可以使用不同的输入参数执行测试。

============================= test ssion starts ==============================platform darwin -- python 3.7.7, pytest-5.4.1, py-1.8.1, pluggy-0.13.1 -- /urs/chunming.liu/.local/share/virtualenvs/api_pytest-wcozfxsu/bin/pythoncachedir: .pytest_cacherootdir: /urs/chunming.liu/learn/api_pytest/testscollecting ... collected 2 items​test_time.py::test_timedistance_v0[a0-b0-expected0] pasd    [ 50%]test_time.py::test_timedistance_v0[a1-b1-expected1] pasd    [100%]​============================== 2 pasd in 0.02s ===============================

照猫画虎,对我们自己的测试项目中的测试脚本进行如下修改。

import pytestimport requests​from utils.commlib import get_test_data​cas, list_params = get_test_data("/urs/chunming.liu/learn/api_pytest/data/test_in_theaters.yaml")​​class testintheaters(object):    @pytest.mark.parametrize("ca,http,expected", list(list_params), ids=cas)    def test_in_theaters(lf, ca, http, expected):        host = "http://api.douban.com"        r = requests.request(http["method"],                             url=host + http["path"],                             headers=http["headers"],                             params=http["params"])        respon = r.json()        asrt respon["count"] == expected['respon']["count"]        asrt respon["start"] == expected['respon']["start"]        asrt respon["title"] == expected['respon']["title"], "实际的标题是:{}".format(respon["title"])

在测试方法上面添加了一个装饰器@pytest.mark.parametrize,装饰器会自动对list(list_params)解包并赋值给装饰器的第一参数。装饰器的第一个参数中逗号分隔的变量可以作为测试方法的参数,在测试方法内就可以直接获取这些变量的值,利用这些值发起请求和进行断言。装饰器还有一个参数叫ids,这个值作为测试用例的名称将打印到测试结果中。

在执行修改后的测试脚本前,我们在测试数据文件再增加一组测试数据,现在测试数据文件中,包含了两组测试数据:

---tests:- ca: 验证响应中start和count与请求中的参数一致  http:    method: get    path: /v2/movie/in_theaters    headers:      ur-agent: mozilla/5.0 (macintosh; intel mac os x 10_14_5) applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.149 safari/537.36    params:      apikey: 0df993c66c0c636e29ecbb5344252a4a      start: 0      count: 10  expected:    respon:      title: 正在上映的电影-上海      count: 10      start: 0- ca: 验证响应中title是"正在上映的电影-北京"  http:    method: get    path: /v2/movie/in_theaters    headers:      ur-agent: mozilla/5.0 (macintosh; intel mac os x 10_14_5) applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.149 safari/537.36    params:      apikey: 0df993c66c0c636e29ecbb5344252a4a      start: 1      count: 5  expected:    respon:      title: 正在上映的电影-北京      count: 5      start: 1

现在我们执行一下测试脚本,看看效果:

$ export pythonpath=/urs/chunming.liu/learn/api_pytest$ py.test tests/test_in_theaters.py ====================================================== test ssion starts =======================================================platform darwin -- python 3.7.7, pytest-5.4.1, py-1.8.1, pluggy-0.13.1rootdir: /urs/chunming.liu/learn/api_pytest, inifile: pytest.inicollected 2 items                                                                                                                ​tests/test_in_theaters.py f.                                                                                               [100%]​============================================================ failures ============================================================___________________________________ testintheaters.test_in_theaters[验证响应中start和count与请求中的参数一致] ___________________________________​lf = <test_in_theaters.testintheaters object at 0x102659510>, ca = '验证响应中start和count与请求中的参数一致'http = {'headers': {'ur-agent': 'mozilla/5.0 (macintosh; intel mac os x 10_14_5) applewebkit/537.36 (khtml, like gecko) chr...t', 'params': {'apikey': '0df993c66c0c636e29ecbb5344252a4a', 'count': 10, 'start': 0}, 'path': '/v2/movie/in_theaters'}expected = {'respon': {'count': 10, 'start': 0, 'title': '正在上映的电影-上海'}}​    @pytest.mark.parametrize("ca,http,expected", list(list_params), ids=cas)    def test_in_theaters(lf, ca, http, expected):        host = "http://api.douban.com"        r = requests.request(http["method"],                             url=host + http["path"],                             headers=http["headers"],                             params=http["params"])        respon = r.json()        asrt respon["count"] == expected['respon']["count"]        asrt respon["start"] == expected['respon']["start"]>       asrt respon["title"] == expected['respon']["title"], "实际的标题是:{}".format(respon["title"])e       asrtionerror: 实际的标题是:正在上映的电影-北京e       asrt '正在上映的电影-北京' == '正在上映的电影-上海'e         - 正在上映的电影-上海e         ?         ^^e         + 正在上映的电影-北京e         ?         ^^​tests/test_in_theaters.py:20: asrtionerror==================================================== short test summary info =====================================================failed tests/test_in_theaters.py::testintheaters::test_in_theaters[\u9a8c\u8bc1\u54cd\u5e94\u4e2dstart\u548ccount\u4e0e\u8bf7\u6c42\u4e2d\u7684\u53c2\u6570\u4e00\u81f4]================================================== 1 failed, 1 pasd in 0.69s ===================================================

从结果看,pytest收集到了2个items,测试脚本执行了两遍,第一遍执行用第一组测试数据,结果是失败(f),第二遍执行用第二组测试数据,结果是通过(.)。执行完成后的summary info部分,看到了一些unicode编码,这里其实是ids的内容,因为是中文,所以默认这里显示unicode编码。为了显示中文,需要在测试项目的根目录下创建一个pytest的配置文件pytest.ini,在其中添加如下代码:

[pytest]disable_test_id_escaping_and_forfeit_all_rights_to_community_support = true

再次执行测试脚本,在测试结果的summary_info部分,则会显示正确中文内容了。

failed tests/test_in_theaters.py::testintheaters::test_in_theaters[验证响应中start和count与请求中的参数一致] – asrtionerror: …

按照这种参数化的方法,如果想修改或者添加测试数据,只需要修改测试数据文件即可。

现在,自动化测试项目的目录结构应该是如下这样:

$ tree.├── pipfile├── pipfile.lock├── config├── data│   └── test_in_theaters.yaml├── pytest.ini├── tests│   ├── test_in_theaters.py│   └── test_time.py└── utils    └── commlib.py​4 directories, 7 files

07 — 测试配置管理

06小节的自动化测试代码中,host是写在测试脚本中的,这种硬编码方式显然是不合适的。这个host在不同的测试脚本都会用到,应该放到一个公共的地方来维护。如果需要对其进行修改,那么只需要修改一个地方就可以了。根据我的实践经验,将其放到config文件夹中,是比较好的。

除了host外,其他与测试环境相关的配置信息也可以放到config文件夹中,比如数据库信息、kafka连接信息等,以及与测试环境相关的基础测试数据,比如测试账号。很多时候,我们会有不同的测试环境,比如dev环境、test环境、stg环境、prod环境等。我们可以在config文件夹下面创建子目录来区分不同的测试环境。因此config文件夹,应该是类似这样的结构:

├── config│   ├── prod│   │   └── config.yaml│   └── test│       └── config.yaml

在config.yaml中存放不同环境的配置信息,以前面的例子为例,应该是这样:

host:  douban: http://api.douban.com

将测试配置信息从脚本中拆分出来,就需要有一种机制将其读取到,才能在测试脚本中使用。pytest提供了fixture机制,通过它可以在测试执行前执行一些操作,在这里我们利用fixture提前读取到配置信息。我们先对官方文档上的例子稍加修改,来介绍fixture的使用。请看下面的代码:

import pytest​​@pytest.fixturedef smtp_connection():    import smtplib    connection = smtplib.smtp_ssl("smtp.163.com", 465, timeout=5)    yield connection    print("teardown smtp")    connection.clo()​​def test_ehlo(smtp_connection):    respon, msg = smtp_connection.ehlo()    asrt respon == 250    asrt 0

这段代码中,smtp_connection被装饰器@pytest.fixture装饰,表明它是一个fixture函数。这个函数的功能是连接163邮箱服务器,返回一个连接对象。当test_ehlo的最后一次测试执行完成后,执行print(“teardown smtp”)和connection.clo()断开smtp连接。

fixture函数名可以作为测试方法test_ehlo的参数,在测试方法内部,使用fixture函数名这个变量,就相当于是在使用fixture函数的返回值。

回到我们读取测试配置信息的需求上,在自动化测试项目tests/目录中创建一个文件conftest.py,定义一个fixture函数env:

@pytest.fixture(scope="ssion")def env(request):    config_path = os.path.join(request.config.rootdir,                                "config",                                "test",                                "config.yaml")    with open(config_path) as f:        env_config = yaml.load(f.read(), loader=yaml.safeloader)    return env_config

conftest.py文件是一个plugin文件,里面可以实现pytest提供的hook函数或者自定义的fixture函数,这些函数只在conftest.py所在目录及其子目录中生效。scope=”ssion”表示这个fixture函数的作用域是ssion级别的,在整个测试活动中开始前执行,并且只会被执行一次。除了ssion级别的fixture函数,还有function级别、class级别等。

env函数中有一个参数request,其实request也是一个fixture函数。在这里用到了它的request.config.rootdir属性,这个属性表示的是pytest.ini这个配置文件所在的目录,因为我们的测试项目中pytest.ini处于项目的根目录,所以config_path的完整路径就是:

/urs/chunming.liu/learn/api_pytest/config/test/config.yaml

将env作为参数传入测试方法test_in_theaters,将测试方法内的host改为env[“host”][“douban”]:

class testintheaters(object):    @pytest.mark.parametrize("ca,http,expected", list(list_params), ids=cas)    def test_in_theaters(lf, env, ca, http, expected):        r = requests.request(http["method"],                             url=env["host"]["douban"] + http["path"],                             headers=http["headers"],                             params=http["params"])        respon = r.json()

这样就达到了测试配置文件与测试脚本相互分离的效果,如果需要修改host,只需要修改配置文件即可,测试脚本文件就不用修改了。修改完成后执行测试的方法不变。

上面的env函数实现中,有点点小缺憾,就是读取的配置文件是固定的,读取的都是test环境的配置信息,我们希望在执行测试时,通过命令行选项,可指定读取哪个环境的配置,以便在不同的测试环境下开展测试。pytest提供了一个叫作pytest_addoption的hook函数,可以接受命令行选项的参数,写法如下:

def pytest_addoption(parr):    parr.addoption("--env",                     action="store",                     dest="environment",                     default="test",                     help="environment: test or prod")

pytest_addoption的含义是,接收命令行选项–env选项的值,存到environment变量中,如果不指定命令行选项,environment变量默认值是test。将上面代码也放入conftest.py中,并修改env函数,将os.path.join中的”test”替换为request.config.getoption(“environment”),这样就可以通过命令行选项来控制读取的配置文件了。比如执行test环境的测试,可以指定–env test:

$ py.test --env test tests/test_in_theaters.py

如果不想每次都在命令行上指定–env,还可以将其放入pyest.ini中:

[pytest]addopts = --env prod

命令行上的参数会覆盖pyest.ini里面的参数。

08 — 测试的准备与收尾

很多时候,我们需要在测试用例执行前做数据库连接的准备,做测试数据的准备,测试执行后断开数据库连接,清理测试脏数据这些工作。通过07小节大家对于通过env这个fixture函数,如何在测试开始前的开展准备工作有所了解,本小节将介绍更多内容。

@pytest.fixture函数的scope可能的取值有function,class,module,package 或 ssion。他们的具体含义如下:

function,表示fixture函数在测试方法执行前和执行后执行一次。class,表示fixture函数在测试类执行前和执行后执行一次。module,表示fixture函数在测试脚本执行前和执行后执行一次。package,表示fixture函数在测试包(文件夹)中第一个测试用例执行前和最后一个测试用例执行后执行一次。ssion,表示所有测试的最开始和测试结束后执行一次。

通常,数据库连接和断开、测试配置文件的读取等工作,是需要放到ssion级别的fixture函数中,因为这些操作针对整个测试活动只需要做一次。而针对测试数据的准备,通常是function级别或者class级别的,因为测试数据针对不同的测试方法或者测试类往往都不相同。

在testintheaters测试类中,模拟一个准备和清理测试数据的fixture函数preparation,scope设置为function:

@pytest.fixture(scope="function")    def preparation(lf):        print("在数据库中准备测试数据")        test_data = "在数据库中准备测试数据"        yield test_data        print("清理测试数据")

在测试方法中,将preparation作为参数,通过下面的命令执行测试:

$ pipenv py.test 2020 开学第一课 的读后感怎样写 -s -q --tb=no tests/test_in_theaters.py====================================================== test ssion starts =======================================================platform darwin -- python 3.7.7, pytest-5.4.1, py-1.8.1, pluggy-0.13.1rootdir: /urs/chunming.liu/learn/api_pytest, inifile: pytest.inicollected 2 items                                                tests/test_in_theaters.py 在数据库中准备测试数据f清理测试数据在数据库中准备测试数据.清理测试数据​==================================================== short test summary info =====================================================failed tests/test_in_theaters.py::testintheaters::test_in_theaters[验证响应中start和count与请求中的参数一致] - asrtionerror: ...================================================== 1 failed, 1 pasd in 0.81s ===================================================

通过输出可以看到在每一条测试用例执行前后,各执行了一次“在数据库中准备测试数据”和“清理测试数据”。如果scope的值改为class,执行测试用例的输出信息将是下面这样:

tests/test_in_theaters.py 在数据库中准备测试数据
f.清理测试数据
在测试类执行前后各执行一次“在数据库中准备测试数据”和“清理测试数据”。

09 — 标记与分组

通过pytest.mark可以给测试用例打上标记,常见的应用场景是:针对某些还未实现的功能,将测试用例主动跳过不执行。或者在某些条件下,测试用例跳过不执行。还有可以主动将测试用例标记为失败等等。针对三个场景,pytest提供了内置的标签,我们通过具体代码来看一下:

import sys​import pytest​​class testmarks(object):    @pytest.mark.skip(reason="not implementation")    def test_the_unknown(lf):        """        跳过不执行,因为被测逻辑还没有被实现        """        asrt 0​    @pytest.mark.skipif(sys.version_info < (3, 7), reason="requires python3.7 or higher")    def test_skipif(lf):        """        低于python3.7版本不执行这条测试用例        :return:        """        asrt 1​    @pytest.mark.xfail    def test_xfail(lf):        """        indicate that you expect it to fail        这条用例失败时,测试结果被标记为xfail(expected to fail),并且不打印错误信息。        这条用例执行成功时,测试结果被标记为xpasd(unexpectedly passing)        """        asrt 0​    @pytest.mark.xfail(run=fal)    def test_xfail_not_run(lf):        """        run=fal表示这条用例不用执行        """        asrt 0

下面来运行这个测试:

$ py.test -s -q --tb=no tests/test_marks.py====================================================== test ssion starts =======================================================platform darwin -- python 3.7.7, pytest-5.4.1, py-1.8.1, pluggy-0.13.1rootdir: /urs/chunming.liu/learn/api_pytest, inifile: pytest.inicollected 4 items                                                                                                                ​tests/test_marks.py s.xx============================================ 1 pasd, 1 skipped, 2 xfailed in 0.06s =============================================

从结果中可以看到,第一条测试用例skipped了,第二条测试用例pasd了,第三条和第四条测试用例xfailed了。

除了内置的标签,还可以自定义标签并加到测试方法上:

@pytest.mark.slow    def test_slow(lf):        """        自定义标签        """        asrt 0

这样就可以通过-m过滤或者反过滤,比如只执行被标记为slow的测试用例:

$ py.test -s -q --tb=no -m "slow" tests/test_marks.py$ py.test -s -q --tb=no -m "not slow" tests/test_marks.py

对于自定义标签,为了避免出现pytestunknownmarkwarning,最好在pytest.ini中注册一下:

[pytest]markers =    slow: marks tests as slow (delect with '-m "not slow"')

10 — 并发执行

如果自动化测试用例数量成千上万,那么并发执行它们是个很好的主意,可以加快整体测试用例的执行时间。

pyest有一个插件pytest-xdist可以做到并发执行,安装之后,执行测试用例通过执行-n参数可以指定并发度,通过auto参数自动匹配cpu数量作为并发度。并发执行本文的所有测试用例:

$ py.test -s -q --tb=no -n auto tests/====================================================== test ssion starts =======================================================platform darwin -- python 3.7.7, pytest-5.4.1, py-1.8.1, pluggy-0.13.1rootdir: /urs/chunming.liu/learn/api_pytest, inifile: pytest.iniplugins: xdist-1.31.0, forked-1.1.3gw0 [10] / gw1 [10] / gw2 [10] / gw3 [10] / gw4 [10] / gw5 [10] / gw6 [10] / gw7 [10]s.fxxf..f.==================================================== short test summary info =====================================================failed tests/test_marks.py::testmarks::test_slow - asrt 0failed tests/test_smtpsimple.py::test_ehlo - asrt 0failed tests/test_in_theaters.py::testintheaters::test_in_theaters[验证响应中start和count与请求中的参数一致] - asrtionerror: ...======================================= 3 failed, 4 pasd, 1 skipped, 2 xfailed in 1.91s ========================================

可以非常直观的感受到,并发执行比顺序执行快得多。但是并发执行需要注意的是,不同的测试用例之间不要有测试数据的相互干扰,最好不同的测试用例使用不同的测试数据。

这里提一下,pytest生态中,有很多第三方插件很好用,更多的插件可以在这里https://pypi.org/arch/?q=pytest-查看和搜索,当然我们也可以开发自己的插件。

11 — 测试报告

pytest可以方便的生成测试报告,通过指定–junitxml参数可以生成xml格式的测试报告,junitxml是一种非常通用的标准的测试报告格式,可以用来与持续集成工具等很多工具集成:

$ py.test -s -q --junitxml=./report.xml tests/

现在应用更加广泛的测试报告是allure,可以方便的与pytest集成,大家可以参考我的另外一篇公众号文章《用pytest+allure生成漂亮的html图形化测试报告》。

12 — 总结

本文章以实际项目出发,介绍了如何编写测试用例、如何参数化、如何进行测试配置管理、如何进行测试的准备和清理,如何进行并发测试并生成报告。根据本文的介绍,你能够逐步搭建起一套完整的测试项目。

本文并没有对pytest的细节和比较高阶的内容做充分介绍,以后再进行专题介绍,这篇文章主要目的是让大家能够将pytest用起来。更高阶的内容,公众号后续文章还将继续对其进行介绍。至此,我们的自动化测试项目完整目录结构如下:

$ tree.├── pipfile├── pipfile.lock├── config│   ├── prod│   │   └── config.yaml│   └── test│       └── config.yaml├── data│   └── test_in_theaters.yaml├── pytest.ini├── tests│   ├── conftest.py│   ├── test_in_theaters.py│   ├── test_marks.py│   ├── test_smtpsimple.py│   └── test_time.py└── utils    └── commlib.py​6 directories, 12 files

参考资料

[1] https://docs.pytest.org/en/latest/

[2] https://www.guru99.com/pytest-tutorial.html

到此这篇关于浅谈基于pytest框架的自动化测试开发实践的文章就介绍到这了,更多相关pytest自动化测试内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com!

本文发布于:2023-04-04 05:01:57,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/zuowen/f2706def1a14073ab0b616c1d7e5f501.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

本文word下载地址:浅谈基于Pytest框架的自动化测试开发实践.doc

本文 PDF 下载地址:浅谈基于Pytest框架的自动化测试开发实践.pdf

标签:测试   测试数据   参数   函数
相关文章
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图