P值和影响大小

Question

那么，在t检验中，p值越低，两组均值的差异越大，这一说法正确吗？

例如，如果我在两组测量值A和B之间进行t检验，然后对两组测量值B和C，我发现在第一种情况下p值低于第二种情况，其中一种可能的解释是，A组和B组的均值之间的差异大于B组和C组均值之间的差异吗？

Answer 1

不是的。

你所指的(A组和B组均值之间的差异)实际上是效应大小，它与p值完全无关。

这种情况在(强烈推荐的)论文使用效果大小-或为什么P价值是不够的 (强调地雷)中有很好的总结：

为什么报告效果大小？效应大小是定量研究的主要结果。虽然P值可以告知读者是否存在影响，但P值不会显示效果的大小。在报告和解释研究中，实质意义(效应大小)和统计显着性(P值)都是需要报告的重要结果。为什么P值还不够？统计学意义是指两组之间观察到的差异可能是偶然造成的。如果P值大于所选择的α水平(例如，.05)，则假设任何观测到的差异都是由抽样变异性来解释的。在样本足够大的情况下，统计测试几乎总是显示出显著的差异，除非没有任何影响，即当效应大小完全为零时；然而，很小的差异，即使很大，也往往是毫无意义的。因此，仅报告用于分析的重要P值并不足以使读者充分了解结果。

换句话说，p值反映了我们对效应确实存在的信心(这并不是偶然的结果)，但它绝对没有说明它的规模(大小)。

事实上，把注意力集中在p值而不是效果大小上的做法引起了许多争议，最近也引起了激烈的批评；参见(同样，强烈推荐的)书统计意义崇拜:标准错误如何让我们失去工作、正义和生命。

交叉验证的下列线程也可能有用：

• P值是衡量效果大小的指标吗？
• 效果大小真的比p值优越吗？

Answer 2

P-值不能用来比较两个不同的组或指定的两个组在一段时间内生成的t统计量。P-值只是告诉计算t-统计量在统计学上是显著的，例如，0.05或0.02或.15等。这是一种推理统计.