如何确保测试框架的可靠性和可靠性？

Question

测试框架有助于测试自动化。然而，就像任何软件一样，它们可以并且确实包含bug。举几个例子：

• 测试问题
• 放心问题和邮寄名单

选择可信和可靠的框架应该使用什么指标？

有些我能想到：

• 测试框架本身具有很高的测试/代码覆盖率。
• 报告的错误很快就修复了。
• 框架在领域中被广泛使用，类似于我想要使用的框架。
• 很容易自己修复一些bug (代码很清楚，作者接受贡献和错误修复)

还有什么？

Answer 1

所有有用的软件都有错误，bug列表的长度和单元测试代码覆盖率都不会告诉您测试框架是否满足您的需求。

在我工作的地方，组使用JUnit或TestNG进行单元测试。我们选择它们是因为它们被广泛使用，所以大多数常见的bugs -我们很可能会遇到的--已经被修复了。任何未修复的常见bug都可能在发布说明或类似于StackOverflow的内容中得到了详细的记录。

如果我从零开始选择一个单元测试框架，我会考虑以下几点：

• 是开源的吗？(二元公制)
• 文件是否足够？
• 除了作者以外，还有很多其他人写的例子吗？
• 很容易得到问题的答案，最好是因为别人已经问过并回答了问题。
• 当人们回答有关框架的问题时，他们听起来是对框架感到满意，还是听起来很生气/沮丧？

这个问题专门提出了度量标准，而其中的大部分都不是定量的，但我认为您可以找到方法来量化其中的大多数。

编辑

Op特别想知道测试/代码覆盖率是否会告诉他们任何关于测试框架可靠性的信息。我会担心没有单元测试的框架，但是如果我要比较两个都有单元测试的框架，我就不愿意仅仅基于其中一个有更多的测试/代码覆盖率而选择一个。