Jenkins自动化无人值守运行(上/下)

转自&＃xff1a;

http://blog.sina.com.cn/s/blog_68f262210102vmlv.html

http://blog.sina.com.cn/s/blog_68f262210102vmlx.html

在你根据手工测试用例完善自动化测试用例后&＃xff0c;每个测试用例都调试通过了&＃xff0c;说明我们已完成了对被测对象的测试用例覆盖。可是在平时的上线回归中&＃xff0c;你不可能一个一个地手工执行测试用例的&＃xff0c;我们希望的是运行一个命令或是执行一次菜单&＃xff0c;测试用例会一个一个地去执行。所以本章开始&＃xff0c;我们将讲解如何组织测试用例&＃xff0c;以及利用jenkins来自动执行测试用例。

7.1TestSuite组织测试用例

平时我们编写测试用例的时候&＃xff0c;都是继承unittest.TestCases类来编写测试用例的&＃xff0c;重写了setUp()&＃xff0c;tearDown()方法&＃xff0c;并且定义以&＃39;test&＃39;开头的具体方法&＃xff0c;来组织成一个个测试用例。而很多的测试用例文件&＃xff0c;我们可以用unittest.TextTestRunner()来组织运行测试用例。而根据不同的测试需要&＃xff0c;来编写不同的suite文件。

例如&＃xff1a;我编写的TestSuite_Online_All.py文件&＃xff1a;

# -*- coding: utf-8-*-
&＃39;&＃39;&＃39;
Created on 2014-6-12
&＃64;author:songxianfeng
&＃39;&＃39;&＃39;
import unittest
import sys
import os
sys.path.append("..")
sys.path.append(os.getcwd()&＃43;"/src/")
#引用测试用例文件
from TestCases.TestCase_QT_Loginimporttestcases_login
from TestCases.TestCase_QT_Indeximporttestcases_index
class testsuit_online_all():deftest(self):if__name__ &＃61;&＃61;"__main__":#1,登录检测:testlogin#2,首页检测:testindex#...... #构造测试集 suite &＃61; unittest.TestSuite() suite.addTest(testcases_login(&＃39;testlogin&＃39;))suite.addTest(testcases_index(&＃39;testindex&＃39;))#运行测试用例集 runner &＃61; unittest.TextTestRunner() runner.run(suite)
if __name__ &＃61;&＃61;"__main__": testsuit_online_all().test()

先引用测试用例文件中的测试类&＃xff0c;如&＃xff1a;testcases_index,然后利用“测试类&＃xff08;测试函数&＃xff09;”的方法&＃xff0c;将具体的测试函数添加suite中&＃xff0c;然后利用unittest.TextTestRunner()的run()函数来运行测试用例集中的测试用例。

测试用例的运行

  通过testsuite将需要的测试用例组织起来后&＃xff0c;当需要执行这一系列的测试用例的时候&＃xff0c;只需要执行pythonTestSuite_Online_All.py命令即可。或是右击TestSuite_Online_All.py文件&＃xff0c;选择“Run As”—>”python run”运行测试集文件即可。

为了方便管理&＃xff0c;我们将所有的测试用例集文件放在TestSuites文件夹下&＃xff0c;在以后配置Jenkins自动运行Job的时候就可以根据需要&＃xff0c;进行不同的配置。

7.2 利用Jenkins来管理自动化测试用例

Jenkins是基于Java开发的一种持续集成工具&＃xff0c;用于监控持续重复的工作&＃xff0c;功能包括&＃xff1a;

&＃xff08;1&＃xff09;持续的软件版本发布/测试项目。

&＃xff08;2&＃xff09;监控外部调用执行的工作。

  由于其是开源的&＃xff0c;所以现在很多公司都用它来管理代码&＃xff0c;当然要做到持续集成还是有很多工作要做的&＃xff0c;我们只用它来调用我们的自动化测试用例。

Jenkins基本配置

 Jenkins这个开源工具的安装及配置管理&＃xff0c;在网上有很多相关的教程&＃xff0c;如&＃xff1a;http://blog.csdn.net/wangmuming/article/details/22925127。

这个上面讲的就很详细&＃xff0c;所以我们不在此详细讲述相关的操作。本节我们只讲解&＃xff0c;如何把我们的自动化测试用例配置到jenkins上。

  下面我们以一个实例来讲解&＃xff1a;

&＃xff08;1&＃xff09;我们编写了测试用例文件以及suite文件&＃xff0c;并将所有的文件放到SVN&＃xff1a;svn://svn.corp.ncfgroup.com/selenium_test/yyzhongchou下面。

&＃xff08;2&＃xff09;我们在要运行测试用例的服务器上安装并配置好了jenkins,这个配置你可以在网上查找相关的方法自行安装配置。

&＃xff08;3&＃xff09;新建一个job ,命名为Zhongchou-web-test-testsuit&＃xff0c;然后打开这个job,单击配置菜单。

&＃xff08;4&＃xff09;给我们这个Job添加描述&＃xff0c;允许执行项目的人员“启动安全项目”&＃xff0c;如图7.2.1所示&＃xff1a;

图7.2.1 添加描述及启动项目安全

&＃xff08;5&＃xff09;对我们测试用例的源码进行管理&＃xff0c;根据我们源码管理的工具不同&＃xff0c;选择不同的方法。我们放的是SVN&＃xff0c;所以选择Subversion项&＃xff0c;然后在后面填写我们的SVN地址&＃xff0c;如图7.2.2所示&＃xff1a;

图7.2.2 源码管理

&＃xff08;6&＃xff09;添加构建命令。当我们执行Job的时候&＃xff0c;怎么运行我们的测试用例呢&＃xff0c;在这一步中&＃xff0c;我们要添加上执行我们测试用例的命令&＃xff1a;

python.\src\testSuit\testSuit_zhongchou_all.py&＃xff0c;这样运行的时候就会调用testsuite,执行测试集中的所有测试用例了&＃xff0c;如图7.2.3所示&＃xff1a;

图7.2.3 添加构建命令

&＃xff08;7&＃xff09;构建Job。填写完成之后&＃xff0c;点击保存按钮&＃xff0c;返回job页。当我们想执行测试用例的时候&＃xff0c;点击页面左侧的“立即构建”&＃xff0c;即可运行测试用例。如图7.2.4所示&＃xff1a;

图7.2.4 构建Job

&＃xff08;8&＃xff09;查看执行结果。要想查看测试用例执行的结果&＃xff0c;我们可以单击左侧的“BuildHistory”下面的构建项目&＃xff0c;在打开的页面中单击左侧的“控制台输出”&＃xff0c;就能看出用例执行的结果了。这样就可以定位错误&＃xff0c;进行调试。如图7.2.5所示&＃xff1a;

图7.2.5查看控制台输出

7.3 Jenkins高级配置

经过上面的配置&＃xff0c;我们已实现了把自动化测试用例接入到jenkins中&＃xff0c;虽然比手工执行高端一点儿&＃xff0c;但这不是我们想要的结果。我们想要自动化执行测试用例&＃xff0c;监控执行结果&＃xff0c;如果出错给我们发邮件或是短信&＃xff0c;这样我们才能及时处理。所以我们要进一步去配置或是优化测试用例。

7.3.1 自动化执行测试用例

Jenkins是用来管理和配置持续化集成的&＃xff0c;在持续化集成中&＃xff0c;自动运行脚本语言是最基本的功能。下面我们就配置一下&＃xff1a;

&＃xff08;1&＃xff09;定时执行测试用例

如图7.3.1.1所示&＃xff0c;选择构建触发器中选择build periodically,配置执行的方法&＃xff1a;

图7.3.1.1配置定时执行

选择 Build periodically&＃xff0c;在 Schedule 中填写 0 * * * *。

    第一个参数代表的是分钟 minute&＃xff0c;取值 0~59&＃xff1b;

    第二个参数代表的是小时 hour&＃xff0c;取值 0~23&＃xff1b;

    第三个参数代表的是天 day&＃xff0c;取值 1~31&＃xff1b;

    第四个参数代表的是月 month&＃xff0c;取值 1~12&＃xff1b;

    最后一个参数代表的是星期 week&＃xff0c;取值 0~7&＃xff0c;0 和 7 都是表示星期天。

 所以 0 * * * * 表示的就是每个小时的第 0 分钟执行一次构建。

&＃xff08;2&＃xff09;触发式执行测试用例

如图7.3.1.2所示&＃xff0c;选择构建触发器中选择“在其他项目完成后构建”或是“触发无私构建”&＃xff0c;然后写上触发的项目了。如在开发上传完代码&＃xff0c;完成构建后&＃xff0c;自动触发回归测试自动用例来进行回归测试。

图7.3.1.2 触发式构建

7.3.2 程序执行失败邮件通知

当测试用例实现自动化执行后&＃xff0c;我们需要知道执行的结果。一般测试用例执行成功后&＃xff0c;我们并不太关心。但是如果执行失败了&＃xff0c;我们需要知道为什么失败&＃xff0c;是被测试对象存在bug,还是我们的自动化测试代码有问题了&＃xff1f;然后去排查&＃xff0c;找出问题所在&＃xff0c;这也是自动化测试的意义。

而用例执行失败后发邮件通知&＃xff0c;这个功能是jenkins自带的功能&＃xff0c;我们只需要对其进行如下配置即可。

&＃xff08;1&＃xff09;打开要进行配置的job, 单击“配置”项。

&＃xff08;2&＃xff09;在“构建后操作”下单击“Add post build actions”,然后选择“E­-mail Notification”项。

&＃xff08;3&＃xff09;然后在Recipients后面的框中填写要接收错误报告的邮箱地址&＃xff0c;以空格分隔多个地址。如图7.3.2.1所示&＃xff1a;

图7.3.2.1 填写接收报告邮件地址

在下面勾选“每次不稳定的构建都发送邮件通知 ”复选框&＃xff0c;然后单击保存&＃xff0c;这样在测试用例执行失败或者job构建失败后就会发邮件给所填写的邮件地址了。 

7.3.3 测试执行失败短信通知

现在手机使用这么发达&＃xff0c;邮件通知感觉到不那么及时了&＃xff0c;如果不时常查看一下邮箱&＃xff0c;即使是Jenkins给我们发了邮件我们也不能及时收到。所以如果自动化测试用例执行失败了&＃xff0c;能发送短信&＃xff0c;这不是很好吗&＃xff1f;

遗憾的是&＃xff0c;Jenkins没有这个功能&＃xff0c;如果想实现这个目标&＃xff0c;我们只有自己努力了&＃xff01;下面我们分析一下思路&＃xff1a;

&＃xff08;1&＃xff09;   我们要根据执行结果来分析出测试用例执行成功了或是失败了&＃xff0c;这个虽然Jenkins会自己分析&＃xff0c;可是我们没有办法获取它分析的结果。所以我们要保存执行结果。

&＃xff08;2&＃xff09;   解析保存的执行结果&＃xff0c;如果失败了&＃xff0c;解析出哪些儿测试用例失败了&＃xff0c;把测试用例名字保存下来&＃xff0c;以便作为我们失败通知短信的内容。

&＃xff08;3&＃xff09;   需要一个发短信给固定手机的方法&＃xff0c;我的办法是我们公司有一个公共短信平台&＃xff0c;申请了相关的权限后就可以直接调用发短信接口向任何手机号发短信。读者要想达到这个目的&＃xff0c;请自行想办法&＃xff0c;因为没有免费的短信接口。

&＃xff08;4&＃xff09;   上面三方面我们需要写一个脚本来做这些儿事情&＃xff0c;我们暂时命名为TestGetResult.php&＃xff0c;因为调用接口php最方便。脚本都是在linux下执行的&＃xff0c;所有python,php都不会相互影响的。脚本内容涉及公司接口&＃xff0c;就不给大家展示了。

&＃xff08;5&＃xff09;   如果测试用例执行成功&＃xff0c;则直接执行Jenkins返回成功&＃xff0c;如果失败&＃xff0c;则调用此脚本发送短信&＃xff0c;并同时调用Jenkins发送邮件。所以我们的脚本执行不能影响Jenkins对执行结果的判断。

&＃xff08;6&＃xff09;   为了达到这个目的&＃xff0c;我们需要在“构建”—>“Excute Shell”下添加脚本语言&＃xff0c;如下所示&＃xff1a;

#!/bin/shpython .\src\testSuit\testSuit_zhongchou_all.py >./Result/WebResult.logif [ $? -ne 0 ];thenphp TestGetResult.phpexit 1elseexit 0fi

脚本讲解&＃xff1a;

A,第02行我们是调用执行suite文件&＃xff0c;执行测试用例&＃xff0c;并将结果保存到./Result/WebResult.log文件中。

B&＃xff0c;第03行判断第一行执行的结果&＃xff0c;如果执行结果不等于0&＃xff0c;说明测试用例执行失败&＃xff0c;然后调用05行我们处理测试结果&＃xff0c;发短信的脚本。

C,第06行很关键&＃xff0c;当测试用例执行失败后&＃xff0c;第02行会返回一个非0的结果&＃xff0c;此时我们调用05行执行。05行执行成功后会返回0&＃xff0c;此时jenkins接到的结果代码是0&＃xff0c;会把执行结果置成成功&＃xff0c;并且不会发邮件。所以06行&＃xff0c;我们人为的返回一个非零的代码给Jenkins&＃xff0c;为了不影响Jenkins的结果。

  D&＃xff0c;第08行和06行的目的是一样的&＃xff0c;当03行判断结果为失败时&＃xff0c;返回代码是非零的&＃xff0c;如果不在08行添加一个人为地返回0的语句&＃xff0c;测试用例执行成功时&＃xff0c;Jenkins根据返回码也会认为是失败。为了不影响Jenkins原来的判断结果&＃xff0c;我们添加了06和08两个强制返回语句。

   至此&＃xff0c;我们完成了Jenkins的配置&＃xff0c;这些儿配置可以满足我们对自动化测试用例的失败监控。当然&＃xff0c;如果你们有其他的需要&＃xff0c;可以去网上学习Jenkins的其他配置及插件的使用&＃xff0c;学无止境嘛&＃xff01;

7.4 自动化测试用例报告

     Jenkins可以随时监控自动化测试用例的执行&＃xff0c;如果有错误就会及时通知我们。如果我们想向我们的领导展示一下我们自动化的成果&＃xff0c;这时一个漂亮的执行报告就是非常必要的了。虽然Python不能生成像testng那样漂亮的报告&＃xff0c;不过也是可以生成清晰的报告的。

   Python&＃43;Webdriver生成报告的方法如下&＃xff1a;

&＃xff08;1&＃xff09;下载HTMLTestRunner.py文件&＃xff1a;地址http://tungwaiyip.info/software/HTMLTestRunner.html

&＃xff08;2&＃xff09;将该文件保存在python安装路径下的lib文件夹中。在文件中能import HTMLTestRunner成功&＃xff0c;即配置成功。

注&＃xff1a;如果失败&＃xff0c;在项目中新建一个这样的文件也是可以的&＃xff0c;只要达到能引入和使用就行。

&＃xff08;3&＃xff09;修改TestSuite文件&＃xff0c;添加生成测试报告的语句&＃xff0c;如下所示&＃xff1a;

# -*- coding: utf-8 -*-
&＃39;&＃39;&＃39;
Created on 2014-6-12
&＃64;author: songxianfeng
&＃39;&＃39;&＃39;import unittest
import sys
import os
sys.path.append("..")
sys.path.append(os.getcwd()&＃43;"/src/")
#引用测试用例文件
from TestCases.TestCase_QT_Login import testcases_login
from TestCases.TestCase_QT_Index import testcases_index
class testsuit_online_all():def test(self):if __name__ &＃61;&＃61; "__main__":#1,登录检测: testlogin#2,首页检测: testindex#...... #构造测试集 suite &＃61; unittest.TestSuite() suite.addTest(testcases_login(&＃39;testlogin&＃39;))suite.addTest(testcases_index (&＃39;testindex&＃39;))# 运行测试用例集 filename&＃61;"./Reoport/TestReport.html"#测试报告路径


fp&＃61;file(filename,&＃39;wb&＃39;)

runner &＃61; HTMLTestRunner.HTMLTestRunner(stream&＃61;fp,title&＃61;&＃39;Result&＃39;,description&＃61;&＃39;Test_Report&＃39;) #添加测试报告 runner.run(suite) if __name__ &＃61;&＃61; "__main__": testsuit_online_all().test()

(4)当执行完测试用例后&＃xff0c;去打开./Report/TestReport.html文件&＃xff0c;就可以看到&＃xff0c;类似图7.4.1样式的报告。现在你就可以将此报告发给你们老大&＃xff0c;以数据形式展示你的成绩了。

图7.4.1 测试报告

7.5 本章小结

     本章我们讲述了如何使用python unitest的testsuite组织测试用例&＃xff0c;如果将自动化测试用例配置到Jenkins中&＃xff0c;配置测试用例自动执行&＃xff0c;执行失败后发邮件和短信通知相关人员&＃xff0c;以及如何生成测试报告等内容。这也是我们自动化测试的具体使用&＃xff0c;展示我们自动如何牛的地方。

     当然不管你用什么来做自动化测试&＃xff0c;也不管你测试的是网页&＃xff0c;接口还是手机App&＃xff0c;如果不拿出点儿数据来展示给老大们&＃xff0c;他们是不会支持你的。像用例覆盖率啊&＃xff0c;执行时间啊&＃xff0c;发现Bug的数据啊&＃xff0c;节省人力成本什么的&＃xff0c;本章节的内容是你的加分项目&＃xff0c;平时的编写自动化测试用例的努力&＃xff0c;全靠此章来展示了&＃xff01;