P值效度

Question

我已经对DNA甲基化数据进行了统计分析，我已经写好了我的报告，但被我的导师拒绝了，因为他要我在论文中做一些修改。

有一个问题我不能回答，因为我不太理解它与p值的关系。

在分析期间，我使用我用R编写的代码运行了一个排列测试，其中样本被打乱1000次，并计算出p值。但是我的教授问我“如何知道p值的有效性。错误模型是什么？”

我不能回答，因为我不知道他真正的意思，但我最近读到了关于排列测试的文章，还没有得到答案。

有人能帮我理解这个问题吗？

Answer 1

只要您指定的null是正确的，置换测试就总是有效的。也就是说，您的案例和控件示例都是null下的iid。为了验证这一点，你可以看看你的DNA甲基化数据在一些经验零模型下(例如，计算两个比较组的p值，都没有任何甲基化)。在空值下，p值应该是均匀分布的，这可以通过查看QQ图来确认。但我也建议直接向你的教授询问他的意思。