我有一个Clickhouse集群(三个节点),其中包含一个合并树表、聚合合并树和一个物化视图,该视图用我们在合并树中插入的数据填充聚合合并树。所有表都存在于每个节点上。(请参阅此gist here中的完整架构)。
我最近增加了存储大小(从每节点4TB增加到4.5TB),我注意到在那之后,Clickhouse似乎在运行后台合并方面变得更加积极。它似乎运行更长时间的合并,每秒合并的行数更高,以至于一些合并会影响服务器的IO带宽,从而对插入率产生负面影响。
我注意到了这个设置here。它提到,如果后台池中有足够的空闲资源,Clickhouse将安排合并。
有没有人知道这是否考虑到了磁盘空间量?更多的空间->更有可能运行合并,从而创建更大的分区?我们为该参数使用的值是默认值。我确实注意到,我们拥有的最大的活动分区大约是150 we,尽管在添加存储空间之前我不能说它们有多大。
如果需要任何额外的上下文,请让我知道。
谢谢
发布于 2021-07-02 06:55:59
可以,CH合并调度程序会考虑可用磁盘空间量。仅当300GB+可用磁盘空间可用时,才能启动150 if合并。
https://stackoverflow.com/questions/68186853
复制相似问题