如何在R中绘制一个非常大的数据集?
我想使用盒子图,或小提琴图,或类似的。所有数据都不能放入内存中。我可以增量地读入并计算制作这些图所需的摘要吗?如果是这样的话,是怎么做的?
发布于 2010-12-04 03:47:26
作为我对Dmitri answer的评论的补充,一个使用ff大数据处理包计算分位数的函数:
ffquantile<-function(ffv,qs=c(0,0.25,0.5,0.75,1),...){
stopifnot(all(qs<=1 & qs>=0))
ffsort(ffv,...)->ffvs
j<-(qs*(length(ffv)-1))+1
jf<-floor(j);ceiling(j)->jc
rowSums(matrix(ffvs[c(jf,jc)],length(qs),2))/2
}这是一个精确的算法,所以它使用排序--因此可能需要很多时间。
发布于 2010-12-03 21:40:09
问题是你不能把所有的数据加载到内存中。因此,您可以对数据进行采样,如前面的@Marek所示。在如此庞大的数据集上,即使你只取1%的数据,你也能得到基本上相同的结果。对于小提琴情节,这将给你一个很好的密度估计。逐步计算分位数是不可能的,但这应该会给出一个非常像样的近似值。它本质上与@aix给出的链接中描述的“随机化方法”相同。
如果不能在R之外设置日期子集,可以结合使用connections和sample()来完成。下面的函数是当数据帧变得太大时,我用来从文本格式的数据帧中采样数据。如果您使用该连接,您可以轻松地将其转换为socketConnection或其他,以便从服务器、数据库等读取它。只需确保以正确的模式打开连接即可。
很好,取一个简单的.csv文件,然后下面的函数对数据的一小部分p进行采样:
sample.df <- function(f,n=10000,split=",",p=0.1){
con <- file(f,open="rt",)
on.exit(close(con,type="rt"))
y <- data.frame()
#read header
x <- character(0)
while(length(x)==0){
x <- strsplit(readLines(con,n=1),split)[[1]]
}
Names <- x
#read and process data
repeat{
x <- tryCatch(read.table(con,nrows=n,sep=split),error = function(e) NULL )
if(is.null(x)) {break}
names(x) <- Names
nn <- nrow(x)
id <- sample(1:nn,round(nn*p))
y <- rbind(y,x[id,])
}
rownames(y) <- NULL
return(y)
}一个用法示例:
#Make a file
Df <- data.frame(
X1=1:10000,
X2=1:10000,
X3=rep(letters[1:10],1000)
)
write.csv(Df,file="test.txt",row.names=F,quote=F)
# n is number of lines to be read at once, p is the fraction to sample
DF2 <- sample.df("test.txt",n=1000,p=0.2)
str(DF2)
#clean up
unlink("test.txt")发布于 2010-12-03 10:56:10
箱线图所需要的只是分位数、“胡须”极端值和异常值(如果显示),它们都很容易预先计算。看一下boxplot.stats函数。
https://stackoverflow.com/questions/4341052
复制相似问题