100 GB实时信息表的优化

Question

我有一个由远程设备单元的数据填充的设备信息提要表。

大约有1000个单元，每个单元每分钟发送一次更新，这些更新将作为一行存储在该表中。所以每分钟就会增加1000行，每小时增加60,000行，每天增加1,440,000行。我需要存储至少3周的数据。

因此，由于我对DB设计还不熟悉，所以我对如何维护这么大的数据流没有什么想法。

将主要在此表上插入查询，并选择查询，不需要更新或其他查询。

表结构:将有28列，主要是FLOAT和TINYINT(4)，以及1 DATE类型。没有其他类型的。该表为第三范式，每个设备单元的每一行都是唯一的。所以，列不能比这个少。

我正在使用MySQL。

我还有其他的表，但它们没有那么大，可维护性也不强。寻找如何维护这个数据库的专家建议。

Answer 1

假设每一行有300位字节，那么每三周就有高达95 of的内存--这在今天的情况下并不算太大-- 1TB磁盘将持续30周--几乎是一年的1/2。如果您压缩了这些数据，我确信您至少可以在一个1TB磁盘上存储至少几年(可能更长的时间)。我会将“活动”数据保存在一台计算机(甚至磁盘)上，并将压缩数据(> 3wks)保存在另一台计算机(或磁盘)上进行分析。旧数据的归档引擎怎么样？或者您可以考虑使用InfiniDB进行分析(或知音)？这些是为数据分析而优化的基于柱状结构的商店。

编辑您可能还需要查看到数据压缩的这链接。我隐含地假设您在MySQL上，因为您使用了TINYINT。