我有6.5Gb的数据表。我想用ParLapply在循环中做一些并行计算(例如运行回归)。目前,当我在并行包中尝试clusterExport时,需要很长时间(我从未见过它完成导出)。
我有16核和64 of内存。正常吗?如何加快大数据表的导出?
num_cores = (detectCores(all.tests = FALSE, logical = TRUE) - 2)
workers <- parallel::makePSOCKcluster(num_cores, useXDR=F)
for(pck_name in required.pck){
clusterExport(workers, c("pck_name"), envir = environment())
clusterEvalQ(workers, library(pck_name, character.only=TRUE))
}
# Bit that freezes up
clusterExport(workers, varlist = c("big_data_table"), envir
= environment()) 发布于 2018-09-24 10:05:11
与其导出内存中的对象,不如考虑将其保存到磁盘(使用save或saveRDS),然后将其加载到辅助进程中。
还请注意,无论以哪种方式,您最终都将在每个工作进程中得到一个单独的6.5GB对象。对于超线程(您正在与detectCores(logical=TRUE)一起使用)的16核detectCores(logical=TRUE),这是32 -2=30个进程。因此,您实际上没有足够的内存来处理所有这些数据表。
https://stackoverflow.com/questions/52476680
复制相似问题