降低p值阈值是否总是会导致更低的FDR？

Question

直觉上，我认为降低o-value阈值将导致较少的错误发现，但这是否总是有效的，或者是否存在不适用的情况？

Answer 1

这是一个非常有趣的问题，我认为在某些情况下，在没有很好的理由和对设计的关注的情况下降低p值阈值确实会增加错误发现率，即使理论上它会减少测试中错误发现的。这是我基于富兰克林·罗斯福和权力之间的关系而做出的猜测。

这是我的直觉，因为FDCR是“错误的发现”除以“正确的和错误的发现”。因此，如果你降低了真正发现的可能性，而没有相应地减少错误发现的可能性，那么你的FDR就会增加。这与降低p值阈值有关的方式是，在不更改任何其他内容的情况下降低阈值会降低您的功率。随着测试能力的降低，它进行真正发现的能力也会降低，因此您可能会得到更高的FDR。有关FDR、幂和p值之间关系的讨论，请参阅this paper。

这并不意味着追求更高的p值阈值，它意味着尽可能严格地设定阈值，然后增加你的功率(增加样本大小等)，直到功率也是合适的。