加载大量数据(10000信号-时间序列)

Question

我正在分析如何以每秒50次存储超过10000个信号。也许我会从记忆中读出来。每个信号有一个时间戳(8个字节)和一个双字节(8个字节)。此过程将每周运行4小时1天。然后：

10000 x50x16=8 MBS /秒。

8 x3600 x4= 115 GBS /周。

我应该使用哪个数据库(或其他选项，如文件)来快速存储这些数据。MondoDB或卡桑德拉是好的选择吗？哪种语言会更好？Java是否足够快地从内存中读取数据并存储在数据库中?还是C是更好的选择？

是否需要集群解决方案？

谢谢。

Answer 1

根据你的描述，我建议Sqlite数据库。它重量轻，比MySQL和MongoDb快。

这里见基准测试。

Answer 2

它大约是700~800 MB的数据，每一天-因此，如果你需要查询-在一个月后，25 GB将被扫描。

在这种情况下，您可能需要一个集群/切分解决方案来拆分负载。

由于数据将不断增长--您需要有一个动态解决方案，它可以使用mongoDB碎片和副本集来跨越、加载和管理数据分发。