首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在python中将大型csv文件写入hdf5?

问如何在python中将大型csv文件写入hdf5?
EN

Stack Overflow用户
提问于 2017-10-07 13:05:24
回答 1查看 5.2K关注 0票数 7

我的数据集太大,无法直接读入内存。我也不想升级机器。从我的阅读资料来看,HDF5可能是解决我问题的合适方法。但我不知道如何迭代地将数据写入HDF5文件,因为我无法将csv文件作为dataframe对象加载。

因此,我的问题是如何将一个大型的CSV文件写入到HDF5文件中。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-10-07 13:11:44

您可以使用chunksize参数以块形式读取CSV文件,并将每个块追加到HDF文件中:

代码语言:javascript
复制
hdf_key = 'hdf_key'
df_cols_to_index = [...] # list of columns (labels) that should be indexed
store = pd.HDFStore(hdf_filename)

for chunk in pd.read_csv(csv_filename, chunksize=500000):
    # don't index data columns in each iteration - we'll do it later ...
    store.append(hdf_key, chunk, data_columns=df_cols_to_index, index=False)
    # index data columns in HDFStore

store.create_table_index(hdf_key, columns=df_cols_to_index, optlevel=9, kind='full')
store.close()
票数 11
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/46620478

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档