将多个文件或单个文件放入HDFStore

Question

我正在将100个csv文件转换为数据帧，并将它们存储在HDFStore中。

这样做的优缺点是什么？

A-将csv文件存储为100个不同的HDFStore文件？

B-将所有csv文件作为单独的项目存储在单个HDFStore中？

除了性能问题，我问这个问题是因为我有稳定性问题，而且我的HDFStore文件经常被损坏。因此，对我来说，单个HDFStore存在风险。然而，我想知道拥有一家商店是否有好处。

Answer 1

不同之处在于：

多个文件

1. 当使用多个文件时，您只能在写入时损坏单个文件(例如，写入时出现电源故障)
2. 您可以并行写入多个文件(注意-永远不要尝试与单个文件并行，这会损坏它！)

单列

1. grouping if logical sets

我认为多个文件的优点超过了使用单个文件，因为您可以通过使用子目录轻松地复制分组属性