如何用重复观测拟合大数据的层次模型

Question

我正在处理在线行为数据，每个用户都有多个Bernoulli试验。我很熟悉在R中使用lme4来拟合层次模型，但是现在我的数据集有了~1MM的唯一用户，每个用户都有1-10个观察，lme4模型在我的Macbook Pro上无休止地运行。我以前只为几千个用户安装过这样的模型，运行时是可以管理的。

library(lme4)
glmer(outcome ~ treatment + (1|user_id), family = 'binomial', data = mydata)

我怎样才能实际地将分层模型拟合到如此大的数据集中？

Answer 1

有几种方法可以加快glmer的速度

• 尝试在nAGQ = 0调用中设置glmer
• 尝试将"nloptwrap"指定为glmerControl中的优化器
• 尝试在calc.derivs = F中指定glmerControl

这里有更多的信息

# code example
glmer(
    outcome ~ condition + (1|user_id),
    family = "binomial", 
    data = mydata, 
    nAGQ = 0,
    control = glmerControl(optimizer = "nloptwrap", calc.derivs = FALSE)
)