clickhouse复印机使两个表在不同的集群上永远保持同步

Question

我们有一个将数据复制到客户端CH集群的用例。我们需要包括历史数据和增量数据(每5-6分钟)。我们可以使用clickhouse复印机/clickhouse备份吗？(永远保持副本运行)

每5分钟记录的次数将在200到500之间。我们想避免做选择..。插入，因为它将需要更多的开发工作和另一个外部进程来监控。

据我所见，它看起来像是一次复制-复印机是一个一次性操作工具？这是对的吗？

Answer 1

不确定使用按键复印机是否正确，因为它不是为了复制数据而设计的，而是一次时间复印机。

当然，您可以创建一个批处理文件，该文件将反复调用clickhouse复印机，并且在每次调用之前修改其配置文件中的。

同样的方法也可以使用clickhouse-客户端。

两个人看起来都很尴尬。

我将依赖CH复制委托CH进行数据复制。它需要创建两个具有相同模式和zoo_path的表，并共享相同的Zookeper：

/* source-cluster table */
CREATE TABLE IF NOT EXISTS source_db.source_table
(
  ..
)
ENGINE = ReplicatedMergeTree('/clickhouse/replicated/tables/source_db/source_table', 'replica_1')
ORDER BY ..;

/* destination-cluster table */
CREATE TABLE IF NOT EXISTS destination_db.destination_table
(
  ..
)
ENGINE = ReplicatedMergeTree('/clickhouse/replicated/tables/source_db/source_table', 'replica_2')
ORDER BY ..;