我有一个从数据仓库中提取的非常大的数据集。要将数据集下载到我想要运行lme4的机器上,需要很长时间。我想知道是否可以将数据处理成协方差矩阵,下载该数据(小得多),并将其用作lme4的数据输入。我已经使用SAS为多个回归模型做了类似的事情,我希望我可以为lme4创建这种类型的输入。
谢谢。
发布于 2013-02-07 01:21:24
我不知道有什么方法可以用观察到的协方差矩阵来拟合lmer模型。但是,如果目标是减少数据集大小以加快分析速度,那么可能会有更简单的方法。例如,如果你不需要随机效应的条件模式,并且你有一个非常大的样本量,那么你可以尝试将模型拟合到逐渐变大的数据子集,直到固定效应的估计和随机效应的协方差矩阵“稳定”。这种方法在我的经验中效果很好,也被其他人讨论过:
http://andrewgelman.com/2012/04/hierarchicalmultilevel-modeling-with-big-data/
这是另一句名言:
与“多模型”方法相关的是加快计算速度的简单近似。计算机变得越来越快--但模型变得越来越复杂!因此,这些常规技巧可能仍然很重要。一个简单而普遍的技巧是将数据分成子集,分别分析每个子集。例如,将85个县的氡数据随机分成三组,每组分别进行分析。Gelman and Hill (2007),第547页。
https://stackoverflow.com/questions/14732767
复制相似问题