首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >当Clickhouse表连续填充INSERT时,选择查询性能影响

问当Clickhouse表连续填充INSERT时,选择查询性能影响
EN

Stack Overflow用户
提问于 2018-01-09 15:41:26
回答 1查看 1.7K关注 0票数 3

Clickhouse表,MergeTree引擎,连续填充“插入到…中”格式化CSV“查询,开始为空。平均输入速率为每秒7000行。插入正在成批地进行,有几千行。当同时执行SELECT查询时,这会对性能产生严重影响。正如Clickhouse文档中所描述的,系统最多需要10分钟来合并特定表的数据(重新索引)。但是,由于表是连续填充的,所以没有发生这种情况。

这在文件系统中也很明显。表文件夹有数千个额外的子文件夹,索引被过度分割.如果数据摄入停止,几分钟后该表将完全合并,子文件夹的数量将变为十几个。

为了克服上述不足,使用更强的缓冲引擎对表中的数据进行了10分钟的缓存。因此,缓冲区最大行数平均为4200000行。

当缓冲区保存最近被摄入的行时,初始表最多会落后10分钟。该表最终被合并,其行为与以下情况相同:如果表已停止填充,则会被重新填充几分钟。但是对应于缓冲区和初始表的结合的缓冲表正变得越来越慢。

从上面可以看出,如果表是连续填充的,那么它就不会合并,而且索引也会受到影响。有什么办法可以避免这个弱点吗?

EN

回答 1

Stack Overflow用户

发布于 2018-02-09 18:31:56

表数据目录中的子文件夹数不是很有代表性的值。

事实上,每个子文件夹都包含一个由排序(索引)行组成的数据部分。如果多个数据部分合并成一个新的更大的数据部分,则会出现新的子文件夹。

但是,合并后不会立即删除源数据部分。有一个<merge_tree>设置old_parts_lifetime,它定义了延迟,在此之后,部分将被删除,默认情况下它设置为8分钟。此外,还有cleanup_delay_period设置,定义背景清洁器检查和删除过时部件的频率,默认情况下是30秒。

因此,正常情况下,在摄食开始后的8分30秒内有这样数量的子文件夹。如果这是不可接受的,您可以更改这些设置。

只检查表中的活动部件的数量(即尚未合并到更大的部分)是有意义的。为此,您可以运行以下查询:SELECT count() FROM system.parts WHERE database='db' AND table='table' AND active。

此外,如果分区中活动部件的数量大于parts_to_delay_insert=150,则ClickHouse会在内部进行此类检查,这样会减慢插入速度,但如果大于parts_to_throw_insert=300,则会中止插入。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/48171764

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档