我的数据帧中有大约一百万行和许多列。我需要一个group_by和mutate来清理我的数据。我将缺少的值(负数)归因于特定个人或组的任何其他正值。
下面的代码运行良好:
library(tidyverse)
data = data.frame(id=c(1,1,1,2,2,2,3,3,3,4,4,4), time=seq(1:3), x=rep(c(5:8), each=3))
data$x[3] <- -1 # negative numbers represent missings
data$x[11] <- -1
data$x[12] <- -1
data %>%
group_by(id) %>%
mutate(fix = max(x)) # since it's a stable trait, I can impute any measurement for that id但当我增加大小时,它需要大约10分钟,有时会崩溃(我有英特尔至强E5和64 GB内存):
bigdata = data.frame(id=rep(c(1:1000000), each=3), time=seq(1:3), x=rep(c(5:8), each=3))
bigdata %>%
group_by(id) %>%
mutate(fix = max(x))我如何改进/加速我的代码?
发布于 2019-11-22 20:33:56
就像评论中的人一样,我正在努力重现真正缓慢的运行时。如果我在1000万上运行,我的运行时间大约是30秒,所以我将从那里开始:
library(dplyr)
bigdata = data.frame(id=rep(c(1:10000000), each=3), time=seq(1:3), x=rep(c(5:8), each=3))
system.time(bigdata %>% group_by(id) %>%
mutate(fix = max(x)))用户系统已用
34.83 2.66 37.48
使用data.table而不是dplyr提供了很好的加速。从理论上讲,这在现实生活中可能会更有效,因为data.table尝试在不复制数据集的情况下执行某些操作。您的dplyr代码可能至少在每次使用%>%时都会复制数据集。
library(data.table)
dt = setDT(bigdata)
system.time(dt[,fit:=max(x),by=id])
df = setDF(dt)用户系统已用
12.29 1.71 12.12
我还使用通过外部包导入的Stata中的数据。我没有注意到这方面的问题。
https://stackoverflow.com/questions/58993721
复制相似问题