问如何提高Clickhouse Kafka消费者的性能
EN

Stack Overflow用户

提问于 2019-11-29 16:06:55

回答 1查看 323关注 0票数 1

我有一个9个分区的Kafka主题，即使我使用9个消费者，并将流间隔设置为1秒，我仍然没有看到机器的资源投入太多努力，CPU甚至低于10% (对于8核，16 is )。

是否还有其他我应该尝试修改的属性？提前谢谢。

olap

clickhouse

回答 1

Stack Overflow用户

发布于 2019-12-01 18:26:10

我找出了问题的根源，流轮询超时和刷新间隔。

一旦我将以下代码添加到users.xml并重新启动，摄取率就会显著提高

 <stream_poll_timeout_ms>5000</stream_poll_timeout_ms>
        <stream_flush_interval_ms>1500</stream_flush_interval_ms>
        <max_streams_to_max_threads_ratio>4</max_streams_to_max_threads_ratio>

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/59100961

复制

相似问题

问如何提高Clickhouse Kafka消费者的性能
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何提高Clickhouse Kafka消费者的性能EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何提高Clickhouse Kafka消费者的性能
EN