首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何增加Spring消费者在每批中所消耗的信息数量?

问如何增加Spring消费者在每批中所消耗的信息数量?
EN

Stack Overflow用户
提问于 2018-05-10 23:47:29
回答 1查看 9.5K关注 0票数 4

我正在构建一个Kafka消费者应用程序,它使用来自Kafka主题的消息并执行数据库更新任务。这些消息每天产生一次大批量--因此主题在10分钟内加载了大约100万条消息。主题有8个分区。

Spring消费者(用@KafkaListener注解并使用ConcurrentKafkaListenerContainerFactory)是在很短的时间内触发的。

批处理大小有时仅为1或2条消息。如果它一次可以消耗大约1000条消息并一起处理它(例如,我可以在一个update SQL中更新数据库),而不是连接到每个消息的数据库,那么它将有助于性能。

我已经尝试降低工厂中的并发性,以避免多个线程消耗较少的消息。

我还将卡夫卡的socket.send.buffer.bytes属性从102400增加到了1024000。

这些步骤没有增加批处理大小。

还有什么其他的配置可以用来增加消费者的浴缸尺寸吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-05-11 13:21:43

见卡夫卡消费者属性max.poll.records,fetch.min.bytes,fetch.max.wait.ms,fetch.max.bytes,max.partition.fetch.bytes。

最有可能的是,fetch.min.bytes和fetch.max.wait.ms正是您所需要的。

票数 14
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50283011

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档