熊猫HDFStore缓存

Question

我正在使用一个中等大小的数据集，该数据集由大约150个HDF文件组成，每个文件为0.5GB。有一个计划好的过程，可以使用store.append从pd.HDFStore更新这些文件。

我正在尝试实现以下场景:对于HDF文件：

1. 保留更新运行
2. 的存储的进程，在只读模式下打开存储，
3. 运行一个Open循环，该循环将继续从存储区中选择最新可用的行。
4. 关闭脚本退出

G 211上的存储区。

现在，这很好，因为只要所有读者都处于只读模式，我们就可以拥有任意数量的读者。但是，在步骤3中，由于HDFStore缓存文件，所以它不会返回连接打开后追加的行。是否有一种选择新添加的行而不重新打开商店的方法？

Answer 1

在做了更多的研究之后，我得出结论，这在HDF文件中是不可能的。实现上述功能的唯一可靠方法是使用数据库(SQLite最近--读/写速度低于HDF，但仍然比完整的数据库(如Postgres或MySQL)更快)。