存储科学数据

Question

每个传感器的分辨率为10位，每秒有500个测量值。另外，我们为每一次检测存储第一次测量的时间戳(假设我们为此保留了32位)。

500次测量* 10位+ 32位=每次检测5032位

假设每个检测持续1秒，每个传感器每小时有500个检测。这就给我们留下了每小时307 us的数据传感器。假设有10个传感器，我们每年有257GB的数据(不考虑我们还应该存储每个传感器的标识符)。

现在，~26 it不是很多，我想简单的MySQL数据库可以容纳它。问题是以后的数据将使用一些沉重的算法进行处理，来自不同传感器的数据将不断地相互比较。

可以进行查询的示例：

• “如果两个时间戳之间的差值小于0.5s，就全部检测sensor3和sensor4”(即。匹配检测)
• “如果测量峰值大于900，则在2014年3月1日进行所有检测”
• “比较从sensor1检测#3和从sensor7检测#7”(即。告诉基于测量数据的检测是否匹配，而不是时间戳)

每一个检测都是一条曲线。

问题是要为数据库选择什么样的解决方案。关系数据库是否足以满足这一需求？如果是，哪一个允许列表操作？如果不是，那么no-sql是可行的吗?为什么？

TL;DR:

如何存储大量非常相似的科学数据？我们讨论的是每年21900000000次测量，分为10个传感器的4380000次观测。以后必须能够对观测数据进行复杂的计算和比较。另外，根据解决方案，如何组织数据？

Answer 1

我建议调查一下hdf5。它非常擅长存储类似数组的数据；唯一的问题是，上一次我使用它时，它在开发过程中并不很健壮；如果我的代码与一个开放的连接崩溃了，它通常会破坏我的整个数据集。不过，我相信最新版本解决了这个问题。