我有一个很大的数据集: 20,000 x 40,000作为numpy数组。我已经将其保存为pickle文件。
我希望一次只读取其中的几行(比如100行),而不是将这个巨大的数据集读取到内存中,作为一个小批量使用。
如何从一个pickle文件中只读取几个随机选择的(没有替换的)行?
发布于 2016-06-22 05:56:01
您可以增量地将pickles写入文件,这也允许您增量地加载它们。
请看下面的例子。在这里,我们遍历列表中的项,并依次对每个项进行酸洗。
>>> import cPickle
>>> myData = [1, 2, 3]
>>> f = open('mydata.pkl', 'wb')
>>> pickler = cPickle.Pickler(f)
>>> for e in myData:
... pickler.dump(e)
<cPickle.Pickler object at 0x7f3849818f68>
<cPickle.Pickler object at 0x7f3849818f68>
<cPickle.Pickler object at 0x7f3849818f68>
>>> f.close()现在,我们可以反向执行相同的过程,并根据需要加载每个对象。出于示例的目的,假设我们只想要第一项,而不想遍历整个文件。
>>> f = open('mydata.pkl', 'rb')
>>> unpickler = cPickle.Unpickler(f)
>>> unpickler.load()
1在这一点上,文件流只前进到第一个对象。其余的对象没有加载,这正是您想要的行为。为了证明,您可以尝试阅读文件的其余部分,并看到其余部分仍在那里。
>>> f.read()
'I2\n.I3\n.'发布于 2016-06-22 05:16:27
由于您不了解pickle的内部工作原理,因此需要使用另一种存储方法。下面的脚本使用tobytes()函数将数据逐行保存在一个原始文件中。
因为每一行的长度都是已知的,所以它在文件中的偏移量可以通过seek()和read()来计算和访问。之后,使用frombuffer()函数将其转换回数组。
然而,最大的免责声明是没有保存数组的大小(这也可以添加,但需要更多的复杂性),并且这种方法可能不像酸洗数组那样可移植。
正如@PadraicCunningham在他的comment中指出的那样,memmap很可能是一种优雅的替代解决方案。
关于性能的评论:在读完评论后,我做了一个简短的基准测试。在我的机器(16GBRAM,加密的SSD)上,我能够在24秒内执行40000次随机行读取(当然,使用20000x40000矩阵,而不是示例中的10x10 )。
from __future__ import print_function
import numpy
import random
def dumparray(a, path):
lines, _ = a.shape
with open(path, 'wb') as fd:
for i in range(lines):
fd.write(a[i,...].tobytes())
class RandomLineAccess(object):
def __init__(self, path, cols, dtype):
self.dtype = dtype
self.fd = open(path, 'rb')
self.line_length = cols*dtype.itemsize
def read_line(self, line):
offset = line*self.line_length
self.fd.seek(offset)
data = self.fd.read(self.line_length)
return numpy.frombuffer(data, self.dtype)
def close(self):
self.fd.close()
def main():
lines = 10
cols = 10
path = '/tmp/array'
a = numpy.zeros((lines, cols))
dtype = a.dtype
for i in range(lines):
# add some data to distinguish lines
numpy.ndarray.fill(a[i,...], i)
dumparray(a, path)
rla = RandomLineAccess(path, cols, dtype)
line_indices = list(range(lines))
for _ in range(20):
line_index = random.choice(line_indices)
print(line_index, rla.read_line(line_index))
if __name__ == '__main__':
main()发布于 2016-06-24 07:13:10
谢谢大家。我最终找到了一种变通方法(一台内存更大的机器,这样我就可以将数据集实际加载到内存中)。
https://stackoverflow.com/questions/37954324
复制相似问题