跟踪mysql表中的更新或更改

Question

我需要将更改流到elasticsearch，以便与我的数据库(Mysql)保持同步。做这件事最好的方法是什么？我想过下面的方法

1. 使用触发器(但我的表将有数十亿个数据，应用程序将有频繁的更新，因此触发器可能代价高昂)。2使用增量/历史表(这将增加开发中的额外工作，这将导致大量的连接)。

是否有任何开箱即用的解决方案或任何其他方式将具有更好的性能和较少的复杂性。

Answer 1

这个话题现在对我来说很有趣，所以，因为它，一些最后的信息：

复制是好的，但如果您需要将数据复制到不同的技术目标系统(例如Redshift)

我发现并测试了很少的变更数据捕获实现：

1) MariaDB MaxScale疾控中心 --我的个人测试没有成功(并且是从源代码和二进制发行版返回链接构建的，以查找遗漏的插件)。问一个问题，等待答案。

2) StreamSets -模拟从、船更改为Kafka。实载测试，工作完美

3) 叶利普

4) 麦克斯韦守护进程 -现在正在测试中，例如NiFi - NiFI实例

5) Python库 --还模拟远程服务器的从服务器。

6) 拉皮德斯 - NodeJS实现

其他链接也少之又少，有的正在积极维护，有的看上去像被遗忘了。

从测试来看，StreamSets看起来很好，Maxwell也非常有趣--当然它可以工作，但可能只有在订阅支持下才能使用。

从“其他”侧-塔伦德作为主要的数据集成工具，红移，memSQL。

Answer 2

我将继续使用二进制日志，它只反映对数据或模式的更改，并且它已经集成到mysql中。