常用的自动化测试度量指标
更新时间:2022-01-14 09:34:06 作者:多测师 浏览:327
在实际工作中有些同学常常会用到下面这些指标来对自动化测试进行度量:
自动化测试用例数量
自动化测试用例数量是不是越多越好呢?并不一定。衡量自动化测试用例的产量有点类似于衡量一个应用的代码数量,并不是数量越多就越好。由于这是一个很简单明了又方便计算的指标,常常被大家广泛使用,但是一味追求数量,可能会造成产生大量无效的自动化测试用例这样的结果。因此建议不要单独使用该指标来度量自动化测试,而是需要结合其他数据来计算自动化测试执行效率和有效自动化测试用例比率等指标,从而来衡量自动化测试系统自身的成熟和完备程度。
自动化测试执行用例次数
和自动化测试用例数量一样,执行次数也并不是越多越好。该指标适合用来衡量和展示自动化测试系统或平台自身的能力,而并不能很好的体现其产生的实际价值。
自动化测试执行成功率
自动化测试执行成功率,一般会在单次自动化回归测试的报告中展示,有时候在流水线中设置成功率的阈值,比如低于某个阈值x%的时候,视为自动化回归测试不通过。该指标是个很好的过程指标,但并不适合作为常规度量自动化测试价值的指标。
自动化测试覆盖率
自动化测试覆盖率的高低,和被测系统的变更结合起来,能够很好反馈系统所存在的质量风险。自动化测试覆盖率,有测试用例覆盖率、功能覆盖率、接口覆盖率和代码覆盖率等等。如果自动化测试能够有很高的覆盖率,也能够帮助团队成员对系统和产品建立信心。只是目前很多团队的覆盖率数据统计维度比较单一,而且也不太准确,比如有些团队是通过人工统计的方式来计算了测试用例覆盖率,但是并未考虑到测试用例本身就未覆盖完全的情况。这种情况下,有可能虽然系统具备了较高的测试覆盖率,但是仍然会有缺陷遗漏的风险。
自动化测试的目的
既然以上的指标并不能够完全体现自动化测试的价值,那么我们应该如何做呢?我们回归自动化测试的价值本身,首先自动化测试目前阶段并不能完全替代手工测试,而其目的是为了替代一些需要重复执行的手工测试和执行一些手工无法执行的复杂而且容易出错的测试等等。
自动化测试在现阶段并不能完全替代手工测试,而能够替代一部分的手工测试,从而实现测试效率的提升;还能够作为手工测试的补充,实现一些手工无法完成的测试任务,来帮助产品提升质量。 那自动化测试的目的是发现更多的Bug吗?有很多人会使用“发现Bug数量”作为自动化测试是否成功的一个衡量标准。自动化测试目前在回归测试阶段应用比较多,而在回归测试阶段发现的Bug数量一般是比较少的,其根本目的是为了避免手工执行的回归测试不充分而导致缺陷遗漏,才会通过自动化的手段来代替手工的回归测试。在文章的后面会谈到,自动化测试发现的Bug数量可以用来衡量自动化测试用例自身的有效性,从而确保自动化测试用例编写人员能够及时更新用例。
以上内容为大家介绍了常用的自动化测试度量指标,希望对大家有所帮助,如果想要了解更多接口自动化测试相关知识,请关注多测师。https://www.aichudan.com/xwzx/
上一篇:接口自动化测试原则
下一篇:如何进行合理的自动化测试度量