多测师是一家拥有先进的教学理念,强大的师资团队,业内好评甚多的接口自动化测试培训机构!

17727591462

联系电话

您现在所在位置:接口自动化测试培训 > 新闻资讯

unittest.TestCase中测试用例执行顺序问题-自动化测试

更新时间:2022-07-07 09:15:59 作者:多测师 浏览:24

  我们在做自动化测试用例的时候,通常会把一个个测试用例放到一个unittest.TestCase的扩展类中,当我们运行测试用例文件时,测试文件中的测试用例会随机执行的。如:

unittest.TestCase中测试用例执行顺序问题-自动化测试

  #-*- coding: UTF-8 -*-

  import time

  import unittest

  import sys

  class DemoTest(unittest.TestCase):

  def setUp(self):

  ….

  Def test_a(self):

  ………

  Def test_b(self):

  ………

  Def test_c(self):

  ………

  Def test_d(self):

  ………

  Def tearDown(self):

  ………

  if __name__ == '__main__':

  suite = unittest.TestLoader().loadTestsFromTestCase(DemoTest)

  unittest.TextTestRunner(verbosity=2).run(suite)

  ```

  上面的示例是包含四个测试用例的一个测试用例集,在我们执行这个测试文件后,四个测试用例的执行顺序是随机的。如果这几个测试用例有依赖关系,则会影响你们用例的执行,于是我在想能不能控制一下测试用例的执行顺序呢?虽然测试用例相互之间不能有依赖关系,可是这算是一个尝试吧!我在网上查到一个方法,是适用于junit的:

  换种顺序来执行TestCase(Junit适用)

  Junit的TestCase,总是按固定的顺序执行的. 正如你在Eclipse中跑Run As Junit Test, 无论你跑多少次, TestCase的执行顺序都是一致的,可重复的. 这就导致一个问题, TestCase之间的独立性无法保证.

  例如下面一个Test类中的2个TestCase:

  public class DaoTest {

  @Test

  public void test_count() {

  dao.insert(new User("root", "123456"));

  assertEquals(1, dao.count(User.class));

  }

  @Test

  public void test_insert() {

  dao.clear(User.class, null);

  dao.insert(new User("admin", "123456"));

  assertEquals(1, dao.count(User.class));

  }

  }

  如果先执行test_count()然后执行test_insert(),两个TestCase都能通过.

  但如果先执行test_insert(),然后执行test_count(),则test_count()会失败.

  所以,有必要去打乱TestCase的默认执行顺序,以暴露出TestCase本身的问题. TestCase更可靠,才能让主代码更可靠.

  我实现了一个简单的方式,使用的是Junit的公开API, 测试过4.3和4.8.2,均可使用:

  //得到所有带@Test的方法,这里用的是Nutz的资源扫描,反正你能得到全部Test类就行

  List list = Scans.me().scanPackage("org.nutz");

  List reqs = new ArrayList();

  Map reqMap = new HashMap();

  for (Class clazz : list) {

  Method[] methods = clazz.getMethods();

  for (Method method : methods) {

  if (method.getAnnotation(Test.class) != null) {

  //将单个TestCase(即一个Test Method),封装为Junit的Test Request

  Request req = Request.method(clazz, method.getName());

  reqs.add(req);

  reqMap.put(req , method);//在最终打印测试结果时,方便查找具体出错的Method

  }

  }

  }

  // 因为reqs 是一个List,我们可以按需调整TestCase的顺序

  // 正序 //nothing change.

  // 反序Collections.reverse(reqs)

  // 乱序Collections.shuffle(reqs)

  //把执行顺序保存下来,方便重现执行顺序

  try {

  FileWriter fw = new FileWriter("./test_order.txt");

  for (Request request : reqs) {

  fw.write(reqMap.get(request).toString());

  fw.write("\n");

  }

  fw.flush();

  fw.close();

  }

  catch (IOException e) {}

  //到这里, List已经按我们预期的方式排好,可以执行测试了

  final TestResult result = new TestResult();

  RunNotifier notifier = new RunNotifier();

  notifier.addListener(new RunListener() { //需要设置一个RunListener,以便收集测试结果

  public void testFailure(Failure failure) throws Exception {

  result.addError(asTest(failure.getDescription()), failure.getException());

  }

  public void testFinished(Description description) throws Exception {

  result.endTest(asTest(description));

  }

  public void testStarted(Description description) throws Exception {

  result.startTest(asTest(description));

  }

  public junit.framework.Test asTest(Description description) {

  return new junit.framework.Test() {

  public void run(TestResult result) {

  throw Lang.noImplement();

  }

  public int countTestCases() {

  return 1;

  }

  };

  }

  });

  //来吧,执行之!!

  for (Request request : reqs) {

  request.getRunner().run(notifier);

  }

  //接下来,就是打印结果了.

  System.out.printf("Run %d , Fail %d , Error %d \n", result.runCount(), result.failureCount(), result.errorCount());

  if (result.failureCount() > 0) { //断言失败的TestCase

  Enumeration enu = result.failures();

  while (enu.hasMoreElements()) {

  TestFailure testFailure = (TestFailure) enu.nextElement();

  System.out.println("--Fail------------------------------------------------");

  System.out.println(testFailure.trace());

  testFailure.thrownException().printStackTrace(System.out);

  }

  }

  if (result.errorCount() > 0) { //抛异常的TestCase

  Enumeration enu = result.errors();

  while (enu.hasMoreElements()) {

  TestFailure testFailure = (TestFailure) enu.nextElement();

  System.out.println("--ERROR------------------------------------------------");

  System.out.println(testFailure.trace());

  testFailure.thrownException().printStackTrace(System.out);

  }

  }

  来, 考验一下你的TestCase吧!! 让它在乱序中多次执行. Nutz按这种思路,已经爆出几个Bug(当然,我已经迅速fix了)

  https://github.com/nutzam/nutz/blob/master/test/org/nutz/AdvancedTestAll.java

  python中不好用,于是只好想一下其他的方法了。我想是不是可以把每个测试用例变成函数,然后再写一个函数来顺序调用它们呢?

  这个方法虽然可以控制顺序,可以也有一定的风险,如果出错了,不会按测试用例给报错,不能准确地统计出测试用例地正确率!如果全部通过则没有问题,可是影响报告的结果,需要想办法来美化一下报告。

  修改后的代码如下:

  -- coding: UTF-8 --

  import time

  import unittest

  import sys

  class DemoTest(unittest.TestCase):

  def setUp(self):

  ….

  Def a(self):

  ………

  Def b(self):

  ………

  Def c(self):

  ………

  Def d(self):

  ………

  Def test_demo(self):

  a()

  b()

  c()

  d()

  Def tearDown(self):

  ………

  ifname == 'main':

  suite = unittest.TestLoader().loadTestsFromTestCase(DemoTest)

  unittest.TextTestRunner(verbosity=2).run(suite)

  以上内容为大家介绍了自动化测试中的unittest.TestCase中测试用例执行顺序问题,本文由多测师亲自撰写,希望对大家有所帮助。了解更多自动化测试相关知识:https://www.aichudan.com/xwzx/

联系电话

17727591462

返回顶部