假设产生片状测试错误时如何调试？

Question

我使用假设python包进行有状态测试。当我运行我的测试时，我得到以下错误：

hypothesis.errors.Flaky: Unreliable assumption: An example which satisfied assumptions on the first run now fails it.

我从一个类似的帖子中理解了flaky error意味着什么。我有一个测试，第一次失败了，但第二次通过了。我可以从日志中理解，是哪个测试导致了这次失败。假设在整个测试过程中尝试相同的测试序列4次，其中2次通过，2次失败。

我已经在没有假设的情况下单独尝试了失败的测试，它没有失败。我正在试图理解是什么导致了这个薄片错误。这是否可能是以下帖子中给出的假设中的一个错误：

What does Flaky: Hypothesis test produces unreliable results mean?

我该如何解决这个问题呢？请在以下链接中找到测试运行的日志文件：https://github.com/aparnasbose/hypothesis/blob/master/flaky%20test

Answer 1

问题几乎可以肯定的是，您的测试并不是所有输入都是确定性的；假设可以找到一些参数或操作序列，这些参数或操作序列有时通过，有时失败。假设认为这是测试中的一个错误，并引发Flaky错误。

要对此进行更详细的诊断，我需要查看您的实际源代码。

在这里，仅供参考的verbose详细信息比debug (它会转储太多内部状态)更有用。您可能还希望升级到假设>= 4.41.1以改进统计数据。