R-并行化多模型学习(使用dplyr和purrr)

Question

这是一个关于学习多个模型的前一个问题的后续。

用例是，我对每个主题都有多个观察，我想为每个主题训练一个模型。关于如何做到这一点，请参阅Hadley的出色的演讲。

简而言之，可以这样使用dplyr和purrr：

library(purrr)
library(dplyr)
library(fitdistrplus)
dt %>% 
    split(dt$subject_id) %>%
    map( ~ fitdist(.$observation, "norm")) 

因此，由于建模是一个令人尴尬的并行任务，我想知道dplyr、purrr是否有一种很容易使用的并行化机制(比如并行map)。

如果这些库不提供简单的并行化，是否可以使用经典的R并行化库(parallel、foreach等)来完成？

Answer 1

现在有了furrr包，例如：

library(dplyr)
library(furrr)
plan(multiprocess)

dt %>% 
    split(dt$subject_id) %>%
    future_map(~fitdist(.$observation, "norm"))

Answer 2

只需在这里添加一个完整的答案，您就需要从Hadley的repo中安装多点来运行这个格列奈特中的更多信息

library(dplyr)
library(multidplyr)
library(purrr)

cluster <- create_cluster(4)
set_default_cluster(cluster)
cluster_library(cluster, "fitdistrplus")

# dt is a dataframe, subject_id identifies observations from each subject
by_subject <- partition(dt, subject_id)

fits <- by_subject %>% 
    do(fit = fitdist(.$observation, "norm")))

collected_fits <- collect(fits)$fit
collected_summaries <- collected_fits %>% map(summary)