将多个本地mysql实例的数据同步到一个云数据库

Question

我正在寻找一种将数据从多个小实例同步到一个大云实例的解决方案。

我有很多设备收集数据日志，每个设备都有自己的数据库，所以我需要一个解决方案来将数据从它们同步到一个实例。延迟并不重要，但我想用最大延迟5-10分钟同步数据。

有现成的解决办法吗？

Answer 1

假设所有数据都是独立的，那么将所有数据放入一个表中。当然，该表将有一个device_id列来区分数字的来源。

每秒需要处理的行总数是多少？如果小于1000/秒，那么将行插入到与到达表相同的表中应该没有问题。

你在使用HTTP吗？或者其他做INSERTs的事情？PHP？爪哇？

这样，在读取和具有值的表之间很少会出现超过1秒的延迟。

我推荐

PRIMARY KEY(device_id, datetime)

和使用摘要表，而不是通过大的事实表来做图表和报告。

如果您需要进一步的建议，请提供更多的详细信息。