A/B测试随机化步骤

Question

假设我想测量一种药物对身高的影响。所以我随机把我的用户分成两组(很明显，控制组和实验组)。在实验前，我计算了两组的平均身高，发现两组的身高相差2厘米。然后，将药物应用于实验组后，我发现了4cm的差异。

如果我没记错，t测试没有处理选择偏差，我能做一个测试来考虑组间最初的2cm差异吗？

Answer 1

据我所知，你根本不用担心这个问题。

所以，在控制和治疗中，你有一个随机分裂的样本。你在治疗前和治疗后，为同样的人测量一些东西。因为你测量的是同一个个体，而不是成对的度量: delta =前-后。您有兴趣测量控制样本的增量平均值是否与对照样本的平均值显著不同。这是通过配对样本检验(也称为依赖检验)完成的。

如果假设为正态分布，则可以使用配对t检验。如果不能合理地假定正态分布，则可以使用威尔克森符号秩检验。

在试验中采用配对的想法是为了消除混淆物的影响。你所计算的可能是混血儿的效果，但如果样本在控制和治疗中被随机分割，你不应该担心，除非你有充分的理由怀疑随机化的过程。在后一种情况下，您可能应该在方程中包含混淆器，并采用随机效应建模的路线。