我计划在ClickHouse中重新设计表,以避免在使用ReplicatedReplacingMergeTree时出现一些性能和重复/版本控制问题。在这里,可以运行优化FINAL以删除重复项,但不能连续运行。
因此,我们计划保留一个表A,每天分区,与传入的数据。然后是表B,按月划分,其中将存储历史数据。查询将指向包含这两种内容的合并表(而不是MergeTree)。
然后,我们设置了一个动作,将最新的分区从A移动到B,在一天结束后的每一天。
但是,在将分区移动到表中中,移动分区是不可能的,因为其中声明“两个表必须具有相同的分区键”。一种方法是将数据从A的每日分区复制到B中,然后在A中分离/删除每日分区,但同时我们将看到重复的数据。
怎样才能以最小的影响将这些数据从A传输到B?还有其他选择吗?
发布于 2020-06-01 14:05:19
一种方法是将数据从A的每日分区复制到B中,然后在A中分离/删除每日分区,但同时我们将看到重复的数据。
您可以将数据复制到中间/临时表TB (与B相同的结构/分区)。然后删除A中的分区,然后从TB移动到B
https://stackoverflow.com/questions/62131577
复制相似问题