存档旧mysql记录的最佳方法

Question

我们有一个带有MySQL DB的应用程序(在AWS上)。我们的一些表格有大量的记录~1亿，而且这个数字每个月都在迅速增加。这些表中的大多数记录都是不活动的，只是偶尔对一些用户可以访问的报告进行访问。

我们现在面临着几个问题：

• 即使进行了索引优化，这些表的查询时间也显著增加。
• 如果出现紧急情况，从备份恢复将需要很长时间，因为表的大小很大。

我们的要求是：

• 数据需要无限期地保存在某个地方。
• (快速)读取数据访问
• 自创建记录以来，在某个时间段过去后不再需要进一步的写访问。
• 低成本

因此，我们计划采取以下行动：

• 在记录“非活动”之后(这在很大程度上取决于创建以来的一段时间)，我们将在DynamoDB中创建一个记录，镜像sql中的数据。
• 过了几天之后，我们从mysql db中删除sql记录。
• 然后，仍然可以通过dynamodb读取记录。

我们的问题是，这种做法是否传统，是否有更好的办法来实现我们想要的。如有任何意见，将不胜感激。

Answer 1

DynamoDB可以很好地适应这种情况。将表类设置为“Standard-偶发访问”，因为您计划拥有大量与读/写相关的数据。您将获得非常快的读取访问(检索以毫秒为单位)，在按需模式下，您甚至不必付费，除非您正在进行检索，而且您可以设置它并忘记它。

DynamoDB是最好的吗？这取决于你还没有量化的细节。如果说“快”读，你指的是一两秒钟，那么你有更多的选择。“低成本”是否意味着你宁愿自己运行服务器来节省一些钱？再说一次，你有更多的选择。

如果标准-IA价格为10c/GB，如果每项价格约为1KB，那么您将看到100,000,000 * 1KB = 100 GB =10美元/mo的存储空间。

如果以10的速率读取，那么每秒的读取率是10 RCU *0.00013美元/RCU=0.94/mo。

初始加载后的写入(如果每项为1KB，则对于使用供应模式的1亿项，大约为18美元)。