如何度量我的E2E测试的覆盖率？

Question

我在寻找一种方法来测量我的端到端测试的覆盖率。我已经有了一些现有的E2E测试，并且正在向其中添加更多的测试场景。但是，我想有一种方法来量化在新的测试增加后覆盖范围的增加。

由于E2E测试比单元测试更具功能和特性，所以我不确定是否可以使用代码覆盖率作为度量。

如果有关系，我在E2E测试中使用Cypress。

如何度量我的E2E测试的覆盖率？有哪些常用的方法和工具可以帮助我做到这一点？

Answer 1

Michael 建议测试覆盖范围 as：

“X覆盖是指我们对某型号X的产品进行了彻底的检验”。

他完成了：

“测试覆盖范围和质量一样，并不能很好地用于定量测量，除非我们谈论的是非常狭窄和特定的条件。”

因此，您可以考虑与系统中的每个元素相关的不同类型的覆盖率。启发式测试策略模型显示了可能需要查看的元素列表：

(您可以在这里上下载思维图)

例如，您可以从用户类型的角度来考虑覆盖率，您可以从并发性等角度考虑时间和中断。

由于“质量对某些人是有价值的(这很重要)”(曾傑瑞Weinberg)，您可以选择哪种类型的覆盖更好地为对您的测试感兴趣的人提供信息。例如，程序员可能对错误处理和调整大小(大/小的输入)感兴趣；管理人员可能对兼容性和环境感兴趣。

Answer 2

恐怕没有足够好的答案来解决这个问题。

有一些工具和方法，但它们都有你报告的人应该注意的主要缺点。

• 测试覆盖率，在整个测试集中运行了多少个测试/检查。这里的问题是，您在测试中度量的百分比，而不是应该测试的百分比。这通常是一个巨大的差别。
• 需求覆盖率，计算有多少需求有相关的测试。这个方法有一个很大的问题，因为它没有检查测试有多好，例如，有一个“晴天”测试来标记所涵盖的需求是否足够？还有其他与实现相关的问题，例如，如何处理相互依赖的需求或与多个需求相关的测试。
• 即使使用E2E测试，有时也可以完成代码覆盖，但是运行起来会很麻烦，而且结果的意义也是有限的--例如，对于每个值，分支都被计算为测试，但作为测试人员，我们也希望测试边缘条件。

那你该怎么办？首先回答你自己，为什么你需要知道你的测试覆盖范围--如果它是计划你的工作，那么选择一个简单的方法并记住它的局限性，如果它的管理层尝试需求或测试覆盖，并在图表下添加一个大的免责声明。

最后，请记住，测试覆盖率将根据预先定义的测试列表进行度量，您通常希望添加到几乎不可能实现的探索性测试会话中。

Answer 3

我可能要迟到了。

如果您在使用Cypress进行E2E时专门查找覆盖率，则可以检查下面的doc：https://docs.cypress.io/guides/tooling/code-coverage.html#Introduction

在这里，我们可以使用额外的插件来度量代码覆盖率，尽管这个覆盖率只是E2E中根本没有涵盖的所有代码行的指标。