想要找出最准确和有效的方法，在测试执行失败时只自动地在JIRA中生成实际的缺陷。

Question

目前，我们的要求是在测试自动化脚本失败时在JIRA中自动创建缺陷。

然而，如果是环境问题或自动化脚本/框架问题，我们正在寻找避免产生缺陷的方法。

以下是我们正在考虑的办法：

1. 对于片状测试，我们将维护一个旗子，如果这些缺陷失败，我们将不会产生缺陷。
2. 我们只会在断言失败时才会产生缺陷，而不会在任何其他类型的失败上产生缺陷。
3. 将根据故障日志跟踪/堆栈跟踪中某些单词的存在而引发缺陷。

虽然我们知道没有一种方法或多种方法是100%准确的，但如果任何人已经通过一种或多种方法达到某种程度的准确性，并且能够分享他们的方法，这将是一个很大的帮助。

Answer 1

由于许多原因，如错误故障、故障、基于同一基本原因的多个故障等，我没有发现自动从测试失败中创建票据的价值。我看到的问题是，您获得的信号太多，噪声过大，导致整体质量低下。

我的做法如下：

认真对待这些薄片。同样，想象一下它们中的一个实际失败--你不会想要一个“薄薄的旗帜”来隐藏一个真正的失败。我对待飞人的方法是：

• 查看相关服务是否可以被模拟或存根。
• 查看是否可以重写测试以捕获特定的错误条件，而不会引发一般错误。
• 去掉测试。这往往是最好的路线。几个月来，我见过很多飞人，他们让整个测试都不可信。一个快速的决定，删除一个片状测试可以(而且在我的经验中)完全解决这个问题。

至于缺陷，根据一些日志上的文字:我不会沿着这条路走下去。相反，请集中精力确保您有良好的单元测试，用于测试负面条件，然后进行良好的集成和e2e测试。