数据采集、存储和管理

Question

我有一个设备，可以测量不同的值随着时间的推移，一个样本每秒。在一次测量运行之后，我可以以CSV-文件的形式导出数据。每秒一行，带有时间戳和大约20列(值)。

现在的问题是如何存储这些数据块以使数据可访问。我想用Matlab来处理它。例如，我有50个数据文件，每个文件代表一个度量运行。每一项约有120项服务电子化计划。20种类型浮子的样本，例如温度。

如果我能要求所有的样品，例如在相同的温度下，那就太好了。

因此，实际上，我正在寻找一个软件，可以处理和组织这些数据，或提示如何(和什么样的)数据库建设。

谢谢你的帮助!

Answer 1

如果您知道您想从数据中问到确切的问题，而且响应时间也不是什么大不了的，那么您可以使用一个程序(用您选择的任何语言编写)来遍历数据，准备每隔一段时间的摘要，以便数据卷变得易于管理，然后将这些摘要加载到像MySQL这样的免费数据库中，在那里您可以使用SQL获取结果，或者在体积很小的情况下可以将摘要加载到Excel中。

除此之外，如果您需要在不进行聚合或摘要的情况下存储每个数据记录，则需要有一个进程将数据(可能是基于时间的批处理)加载到数据库( Server、Oracle、MySql、FoxPro等)中。该过程可以通过数据库实用程序或ETL工具构建。

选择取决于你想花多少钱，取决于你对所选择的工具的专业水平。

有些应用程序可以在内存中处理非常大的数据并产生良好的统计信息。除了数据表示之外，OLAP工具还可以完成上述部分或全部工作。(参见例如：(链接-1)或(undefined)。

满足您的需求所涉及的过程包括ETL、OLAP、数据集市和数据仓库以及仪表板。

Answer 2

MRTG可能会为您提供一些东西，如果您对一般行为感到困扰，而不是特定的行为，随着时间的推移。虽然这是一种合并数据而不是精确存储数据的方法。

如果你只有事先知道的具体问题，那么你可以预先解析你的数据。如果没有，您需要有一些数据库，或者将整个数据加载到内存中，并以这种方式处理。