测量集成测试效率

Question

我们希望改变质量左，并激励开发人员编写集成测试-包括狭窄和广泛。最大的挑战是引入度量标准来衡量测试的有效性。代码覆盖超出了范围，因为它在集成测试空间中并没有说明什么。我们想到了某种有限的覆盖度量--检查诸如app到数据库、app到外部服务之类的协作点是否被测试覆盖。另一种选择是，如果我们从外部依赖项突变响应，则检查测试通过率如何变化。是否有任何工具支持提取此类度量，或者是否有更好的方法来检查有效性？我们的域名是Java。

更新:该度量用于向开发人员提供进度方面的反馈，稍后我们希望使用一些指标来设置质量门。

Answer 1

我们想到了某种有限的覆盖度量--检查诸如app到数据库、app到外部服务之类的协作点是否被测试覆盖。

大多数代码覆盖率工具允许按文件名或位置进行筛选；您可以为代码基的某些区域创建多个报告或检查。以下是Jacoco所做的

当然，如果您执行TDD，这些代码不会有很大的需求，因为只有在进行检查以驱动您时，您才能编写集成代码。

另一种选择是，如果我们从外部依赖项突变响应，则检查测试通过率如何变化。

您可以使用工具进行突变测试和基于属性的测试，例如坑或JUnit快速检测。

Answer 2

您能详细说明为什么需要这些指标吗？听起来你只是想要一个度量标准--但是你有什么计划吗？

就我个人而言，我首先关注的是在逐个故事的基础上进行集成测试。也就是说，在实现过程中，让开发人员和测试人员坐下来讨论什么是单元测试，哪些用例应该作为集成测试来处理，哪些根本不应该自动化。如果团队认真对待这些测试，它们将(而且应该是)相关的，并且从一开始就完成。

然后，如果过了一段时间，您注意到了一些特定的问题-使用这些反馈来填补测试覆盖范围或测试实现中的任何空白。

Answer 3

代码评审清单是否有帮助？

类似于：

Impacted Integration points:
 
 - external service a [ ] 
 
 - external service b [ ] 

Did you include integration tests for impacted services?

通常，集成测试类以*IT结束。Java

如果集成受到影响，您是否可以要求包括一个？你能数一下测试方法吗？