将MySQL数据复制到ClickHouse

Question

我希望定期将MySQL数据库中的数据插入到clickHouse中，也就是说，当数据在mySQL数据库中添加/更新时，我希望将数据自动添加到clickHouse中。

我正在考虑使用变更数据捕获(CDC)。CDC是一种捕获对MySQL中的数据所做的更改并将其应用于目标ClickHouse表的技术。它只导入更改的数据，而不是整个数据库。要在MySQL数据库中使用CDC方法，必须使用二进制更改日志(binlog)。Binlog允许我们将更改数据捕获为流，从而实现近乎实时的复制.

Binlog不仅捕获数据更改(INSERT、UPDATE、DELETE)，还捕获表架构更改(如ADD/DROP列)。它还确保从MySQL中删除的行也在ClickHouse中被删除。

在进行更改之后，如何将其插入ClickHouse中？

Answer 1

试验性MaterializedMySQL使用ClickHouse中存在的所有表以及这些表中的所有数据创建ClickHouse数据库。

ClickHouse服务器作为MySQL副本工作。它读取绑定日志并执行DDL和DML查询。

https://clickhouse.tech/docs/en/engines/database-engines/materialized-mysql/

https://altinity.com/blog/2018/6/30/realtime-mysql-clickhouse-replication-in-practice

https://clickhouse.tech/docs/en/sql-reference/dictionaries/external-dictionaries/external-dicts-dict-sources/#dicts-external_dicts_dict_sources-mysql

https://altinity.com/blog/dictionaries-explained https://altinity.com/blog/2020/5/19/clickhouse-dictionaries-reloaded