我正在构建一个Kafka消费者应用程序,它使用来自Kafka主题的消息并执行数据库更新任务。这些消息每天产生一次大批量--因此主题在10分钟内加载了大约100万条消息。主题有8个分区。
Spring消费者(用@KafkaListener注解并使用ConcurrentKafkaListenerContainerFactory)是在很短的时间内触发的。
批处理大小有时仅为1或2条消息。如果它一次可以消耗大约1000条消息并一起处理它(例如,我可以在一个update SQL中更新数据库),而不是连接到每个消息的数据库,那么它将有助于性能。
我已经尝试降低工厂中的并发性,以避免多个线程消耗较少的消息。
我还将卡夫卡的socket.send.buffer.bytes属性从102400增加到了1024000。
这些步骤没有增加批处理大小。
还有什么其他的配置可以用来增加消费者的浴缸尺寸吗?
发布于 2018-05-11 13:21:43
见卡夫卡消费者属性max.poll.records,fetch.min.bytes,fetch.max.wait.ms,fetch.max.bytes,max.partition.fetch.bytes。
最有可能的是,fetch.min.bytes和fetch.max.wait.ms正是您所需要的。
https://stackoverflow.com/questions/50283011
复制相似问题