Pandas read_hdf给出了“只能在表上使用迭代器或块大小”错误

Question

我有一个包含密钥rawreport的h5数据文件

我可以使用read_hdf(filename, "rawreport")读取rawreport并保存为数据帧，没有任何问题。但是数据有1700万行，我想使用分块

当我运行这段代码时

chunksize = 10**6
someval = 100
df = pd.DataFrame()
for chunk in pd.read_hdf(filename, 'rawreport',  chunksize=chunksize, where='datetime < someval'):
    df = pd.concat([df, chunk], ignore_index=True)

我得到"TypeError:只能在表上使用迭代器或块大小“

rawreport不是一个表是什么意思，我如何克服这个问题？我不是创建h5文件的人。

Answer 1

仅当您的文件是使用PyTables以表格式编写时，才能进行分块。这必须在第一次写入文件时指定：

df.to_hdf('rawreport', format = 'table')

如果在编写文件时没有指定，那么Pandas默认使用fixed格式。这意味着，虽然文件可以在稍后快速写入和读取，但这并不意味着必须将整个数据帧读取到内存中。不幸的是，这意味着read_hdf中用于指定特定行或列的分块和其他选项不能在这里使用。