首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >dplyr中group_by的另一个大数据问题

问dplyr中group_by的另一个大数据问题
EN

Stack Overflow用户
提问于 2019-11-22 19:51:56
回答 1查看 53关注 0票数 0

我的数据帧中有大约一百万行和许多列。我需要一个group_by和mutate来清理我的数据。我将缺少的值(负数)归因于特定个人或组的任何其他正值。

下面的代码运行良好:

代码语言:javascript
复制
library(tidyverse)
data = data.frame(id=c(1,1,1,2,2,2,3,3,3,4,4,4), time=seq(1:3), x=rep(c(5:8), each=3))

data$x[3] <- -1 # negative numbers represent missings 
data$x[11] <- -1
data$x[12] <- -1

data %>% 
  group_by(id) %>%
  mutate(fix = max(x)) # since it's a stable trait, I can impute any measurement for that id

但当我增加大小时,它需要大约10分钟,有时会崩溃(我有英特尔至强E5和64 GB内存):

代码语言:javascript
复制
bigdata = data.frame(id=rep(c(1:1000000), each=3), time=seq(1:3), x=rep(c(5:8), each=3))

bigdata %>% 
  group_by(id) %>%
  mutate(fix = max(x))

我如何改进/加速我的代码?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-11-22 20:33:56

就像评论中的人一样,我正在努力重现真正缓慢的运行时。如果我在1000万上运行,我的运行时间大约是30秒,所以我将从那里开始:

代码语言:javascript
复制
library(dplyr)

bigdata = data.frame(id=rep(c(1:10000000), each=3), time=seq(1:3), x=rep(c(5:8), each=3))

system.time(bigdata %>% group_by(id) %>%
  mutate(fix = max(x)))

用户系统已用

34.83 2.66 37.48

使用data.table而不是dplyr提供了很好的加速。从理论上讲,这在现实生活中可能会更有效,因为data.table尝试在不复制数据集的情况下执行某些操作。您的dplyr代码可能至少在每次使用%>%时都会复制数据集。

代码语言:javascript
复制
library(data.table)

dt = setDT(bigdata)
system.time(dt[,fit:=max(x),by=id])
df = setDF(dt)

用户系统已用

12.29 1.71 12.12

我还使用通过外部包导入的Stata中的数据。我没有注意到这方面的问题。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58993721

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档