测试/测试效率的一个很好的衡量标准是什么？

Question

我即将与管理层讨论如何衡量我们作为QA组织的测试效率。这背后的主要原因是，我们有一半的团队是外包出去的，我们的业务希望提供一些衡量我们的效力/效率的指标，这样我们就有了与承包商的服务协议谈判合同参数的基础数据。

在这个问题上，我发现了很多关于开发效率的观点:代码行、交付的故事点、引入的缺陷等等。

但是测试人员呢？我们的测试主要是基于需求的，是手工测试、半自动测试和自动化测试的混合体(不是因为我们还没有完成自动化测试，而是因为在我们的测试系统中有些东西是不可自动化的)。

Answer 1

编写的测试数量是无用的，发现大量的bug可以用来衡量糟糕的开发，而不是有效的QA。

自动化度量(代码覆盖，功能覆盖.)可能是好的，但我认为它们对开发(作为一个开发人员，我会知道如果我意外地弄坏了什么东西)比客户(我想这样做，但它不起作用)更有帮助。

因为如果客户不遇到问题，质量是很好的，因此，衡量QA团队和过程的有效性(而不是效率)的一个很好的标准，是衡量QA尚未发现的客户发现的bug。

这个度量的主要问题是，在完成的工作和开始有意义的数字之间可能会有相当大的延迟。

Answer 2

我们在上一次评估QA时使用了几个度量标准：

• 发现的臭虫数量。我讨厌这个。这就像为开发人员编写的“代码行数”一样。
• 自动测试用例的数量。
• 功能测试涵盖的总应用的百分比。
• 在分期和生产过程中发现的bug数量。

最后，您的QA团队的工作是在bug出没之前找到它们。他们的衡量标准应该以实际实现这个目标为基础。如果测试用例的覆盖率很低，自动化测试的数量最少，生产中的错误率也很高，那么它们做得并不好。然而，如果他们有一个良好的跟踪记录，在他们发现bug之前很久，他们的指标应该是相当高的。

Answer 3

QA应该通过两个主要的度量标准来衡量:在领域中有多少bug通过QA被发现？他们有多严重？

您也许可以通过QA来查找更接近于发布的严重bug，而不是开发完成。您可能会认为QA没有在估计的完成日期(每个特性)之前完成测试。

虽然最后，我担心你会花费更多的钱来衡量你的合同员工的有效性，而不是使用订约员工所获得的节省。