非参数检验的极低p值

Question

我正在使用Python的非参数检验来检验两个样本是否与从相同的父种群中提取的样本一致：scipy.stats.ks_2samp (2样本Kolmogorov-Smirnov)、scipy.stats.anderson_ksamp (安德森-Darling表示k样本)和scipy.stats.ranksums (，2个样本)。我的显着性阈值(P= 0.01 )表明，两个样本之间存在显著差异。

如果这三个测试返回极低的p值(有时类似于10^-30或更低)，那么我是否需要担心with函数出了问题？这些小得离谱的p值可靠吗?我能报告p << 0.01 (p远低于我的阈值)吗？

Answer 1

您不需要担心the函数出了问题。那么低的P值只是意味着你的样本不太可能有相同的母体。

尽管如此，如果你没有预料到分布是不同的，那么现在是一个很好的时机来确保你在测量你认为你正在测量的东西，也就是说，你在正确的数据中输入所需的数据。

Answer 2

一个常见的错误(至少在生命科学中)可能导致不正确(太小)p值，那就是测试的独立性假设 --测试通常假定样本中的观测(数据点)是独立的--被违反了。例如，GraphPad的Mann的核对表在“错误独立”项下。

作为参考，这份2010年的论文看了一期“自然神经科学”(神经科学的顶级期刊)，发现"12%的论文有假增殖，还有36%的论文被怀疑有假增殖“。

Answer 3

嗯，你遇到了一个众所周知的显着性测试的特性，那就是p值通常会随着样本大小的增加而变零。如果空假设是错误的(通常可以预先建立)，那么只要增加样本大小，就可以得到任意小的p值。

我的建议是想一想，它的实际差别是什么，使发行版不同。试着用成本来量化，不管是真实的(美元)还是抽象的。然后为它设计一个度量。