使用odo转换熊猫hdfstore时维护数据列

Question

我正在使用烈火项目中的odo来合并多个熊猫hdfstore表，按照这个问题中的建议：连接两个大型pandas.HDFStore HDF5文件

这些商店有相同的栏和不重叠的标志，从设计和几百万行。单独的文件可能会被放入内存中，但是合并后的文件可能不会。

有什么方法可以保留创建hdfstore的设置吗？我松散了数据列和压缩设置。

我试过没有运气的odo(part, whole, datacolumns=['col1','col2'])。

另外，如能就其他方法提出任何建议，将不胜感激。当然，我可以手动完成这个操作，但是为了不耗尽内存，我必须管理chunksizing。

Answer 1

odo不支持compression和/或data_columns ATM的传播。这两者都很容易添加，我创建了一个问题这里

您可以在pandas中这样做：

In [1]: df1 = DataFrame({'A' : np.arange(5), 'B' : np.random.randn(5)})

In [2]: df2 = DataFrame({'A' : np.arange(5)+10, 'B' : np.random.randn(5)})

In [3]: df1.to_hdf('test1.h5','df',mode='w',format='table',data_columns=['A'])

In [4]: df2.to_hdf('test2.h5','df',mode='w',format='table',data_columns=['A'])

迭代输入文件。块读/写到最后一家商店。请注意，您还必须在这里指定data_columns。

In [7]: for f in ['test1.h5','test2.h5']:
   ...:     for df in pd.read_hdf(f,'df',chunksize=2):
   ...:         df.to_hdf('test3.h5','df',format='table',data_columns=['A'])
   ...:         

In [8]: with pd.HDFStore('test3.h5') as store:
    print store
   ...:     
<class 'pandas.io.pytables.HDFStore'>
File path: test3.h5
/df            frame_table  (typ->appendable,nrows->1,ncols->2,indexers->[index],dc->[A])