如何传递失败的测试套件运行(junit.xml解析)？

Question

我们在一个自动化的持续集成/部署管道中工作。我们有数百个测试用例和4个阶段(红色，橙色，黄色，绿色)。

我面临的问题是测试可能会失败(bug、计时、卡住的进程等)。它将导致整个回归运行失败。

我认为我们需要某种权重来确定被认为是“失败”构建的通过/失败测试的数量。

有什么想法吗？你在流水线上创建的东西？

谢谢，-M

Answer 1

失败的构建并不总是反映产品的质量，主要是如果失败与测试基础设施问题有关。

通过构建可轻松维护和扩展的强大而稳定的框架，降低与应用程序错误(计时、卡住进程)无关的意外失败的风险。

当谈到与应用程序错误相关的失败时，失败的测试类型比失败的数量更重要。这是缺陷严重性。你可以有3次影响不大的小失败，也可以只有1次严重的失败。您需要相应地标记您的测试。

除此之外，还有一个Jenkins plugin，它可以创建一个易于跟踪的测试运行历史，在那里您可以看到在最后一次运行中失败次数最多的测试的数量。