如何保证FsCheck的重复性

Question

我们希望在持续集成中使用FsCheck作为单元测试的一部分。因此，决定性和可复制的行为对我们来说是非常重要的。

FsCheck是一个随机测试框架，它可以生成有时可能会中断的测试用例。关键是，我们不仅使用必须保存每个输入的属性，比如List.rev >> List.rev === id。相反，我们会做一些数字运算，有些测试用例会因为条件不良而导致测试中断。

问题是:我们如何保证，一旦测试成功，它将永远成功？

到目前为止，我看到以下选择：

• 硬编码种子，例如0。这将是最简单的解决办法。
• 制作非常具体的自定义生成器，以避免错误的示例。当然有可能，但是结果会非常困难，特别是如果有很多对象要生成的话。
• 接受它，在某些情况下，构建可能是红色的，因为病理性的病例和简单的重新运行。

在这种情况下使用FsCheck的惯用方式是什么？

Answer 1

(我开始写一篇评论，但它写得太久了，我想它应该得到自己的回答)。

使用FsCheck测试属性是非常常见的，而这些属性并不适用于每个输入。例如，如果您为FsCheck运行List.rev示例，那么它将很小地反驳它。

数值稳定性本身就是一个棘手的问题--在FsCheck中不存在任何不确定性(FsCheck完全是确定性的，它只是一个输入生成器.)。您所指的“非确定性”可能是某些处理器中浮点操作中的bug等。但即使是那样的话，你不想知道他们吗？如果对于一类输入，算法在数值上是不稳定的，你不想知道吗？如果你不这样做，在我看来，你似乎是在制造某种真正的非决定论.。

在FsCheck中编写不适用于给定类型的所有输入的属性的惯用方法是编写生成器&收缩器。您可以使用==>作为实现这一目标的一步，但它不能很好地扩展到复杂的先决条件。你说这可能会很难--这是真的，我保证你会对你的代码有所了解。一件好事！

修复种子是一个不好的主意，除了复制之前发现的错误。我的意思是，在实践中，你会做什么:继续运行测试，直到它通过，然后修复种子，并宣布“工作已完成”？

Answer 2

有些测试用例可能会因为条件不良而导致测试中断。

这听起来像是您需要一个条件属性：

let isOk x =
    match x with
    | 42 -> false
    | _ -> true

let MyProperty (x:int) = isOk x ==> // check x here...

(假设你不喜欢42这个数字。)