首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >并行封装中大型对象的ClusterExport

问并行封装中大型对象的ClusterExport
EN

Stack Overflow用户
提问于 2018-09-24 09:51:28
回答 1查看 670关注 0票数 1

我有6.5Gb的数据表。我想用ParLapply在循环中做一些并行计算(例如运行回归)。目前,当我在并行包中尝试clusterExport时,需要很长时间(我从未见过它完成导出)。

我有16核和64 of内存。正常吗?如何加快大数据表的导出?

代码语言:javascript
复制
num_cores = (detectCores(all.tests = FALSE, logical = TRUE) - 2)
workers <- parallel::makePSOCKcluster(num_cores, useXDR=F)
for(pck_name in required.pck){ 
  clusterExport(workers, c("pck_name"), envir = environment())
  clusterEvalQ(workers, library(pck_name, character.only=TRUE))
}

# Bit that freezes up 
clusterExport(workers, varlist = c("big_data_table"), envir 
= environment()) 
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-09-24 10:05:11

与其导出内存中的对象,不如考虑将其保存到磁盘(使用save或saveRDS),然后将其加载到辅助进程中。

还请注意,无论以哪种方式,您最终都将在每个工作进程中得到一个单独的6.5GB对象。对于超线程(您正在与detectCores(logical=TRUE)一起使用)的16核detectCores(logical=TRUE),这是32 -2=30个进程。因此,您实际上没有足够的内存来处理所有这些数据表。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52476680

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档