在实时pytables上写入和读取

Question

我不确定如果我的想法是可能的，我需要一个有经验的人与HDF5/PyTables工作的帮助。

escenario应该是这样的：

假设我们有一个进程，或者一台机器，或者一个连接，等等，获取数据，并以HDF5/PyTable格式存储。我把它叫做商店软件。

是否有可能有另一个软件，我称之为分析软件，按时运行？

如果有帮助，商店软件和分析软件将是完全独立的，甚至可以用不同的语言编写。

我的疑问是，如果存储程序正在编写PyTable、mode='w'，那么，在同一时间，分析程序是否可以访问mode='r'，并读取一些数据来执行一些基本的分析、平均值等？？

其基本思想是能够实时分析存储在PyTable中的数据。

当然，任何其他建议的解决方案都将不胜感激。

Answer 1

不建议也不支持在一个进程中写入而在其他进程中读取。看看这个来自HDF 5 FAQ的问题

HDF5是否支持从多个进程并发访问单个数据集？

如果所有进程都在读取，那么，是的，HDF5 (串行)确实支持这一点。如果有任何进程正在写入，那么不，这是不受支持的。我们正在开发“单写多读”(SWMR)功能，该功能将在未来的版本中提供(预计将在HDF5-1.10中)。

Pytables不能保证@SmCaterpillar声明的这种写/读模式。

Answer 2

这绝对是可能的。如果你在“w”模式下只有一个进程，而在“r”模式下有多个进程，这就特别容易。只需确保在“w”过程中偶尔对文件和/或数据集执行flush()。如果这样做，'r‘进程将能够看到数据。