将测量数据保存到数据库或文件系统中

Question

我们目前正在开发一种工具，用于计算通过指定区域的野生动物数量。自动计数动物的小工具将发送数据(天气，动物经过的#等)。在5分钟内通过HTTP到达我们的API。将有数百个这样的测量站，它应该是可扩展的。

现在的问题是是使用文件系统还是使用RDBMS来保存这些数据。

Pro DB

• 保存创建条目的确切时间和日期。
• 通过索引密钥与area#直接相关

Pro文件系统

• 收集数据并不像资源密集，因为对于每个API调用，只有一行将被追加到文件中。

数据的属性：

• 仅与1 DB条目相关(区域#)
• 测量站位于偏远地区，我们必须对停运进行解释。

如何处理这些数据？

• 给出每一个area#的时间段概述
• 作为预警系统，如果#的动物是惊人的低/高
  • 可能是通过使用cronjob并将其与简单的数据进行比较

​

我们正在考虑选择一个RDBMS来保存数据，但我担心的是，在数百万条目之后，DB将放慢速度，并最终停止工作。这个问题是asked here，其中3.6亿个条目并不真正被认为是“大数据”，所以我对我的任务也不太确定。

我们是否应该选择these recommended techniques (MongoDB .)或者这个任务可以由PostgreSQL或MySQL来处理？

Answer 1

我已经为海军博伊斯创造了这样一个系统。这些设备使用HTTP或原始tcp套接字(以最小化带宽)通过GPRS / iridum发送数据。

• 接收服务器将数据存储在db表中，并提供数据和时间戳。
• 然后对数据进行分析，并在另一个表中创建记录。
• 这些设备也可以从服务器请求UTC时间，因此不需要RTC。

在对"raw“表进行任何存储之前，一行将附加到文本文件中。这是简单的日志记录或能够从数据库停机时间恢复。

至于数据库类型，我建议使用常规的RDBMS。为您的数据定义标记。我们使用四位数的代码，为10000种测量值提供了空间.