Kafka生产者批量超时

Question

通过设置batch.size，我们告诉生产者对记录进行批处理，直到记录的大小达到该限制，然后发送它们。有一个奇怪的配置linger.ms，它说如果生产者想要发送记录，但batch.size没有到达等待更多。

我的问题是，生产者如何可能在记录的大小到达batch.size之前发送记录？我认为等待批处理有一个超时，如果有一些配置，是什么？

我将producer的batch.size设置为16MB，但是producer发送记录时没有考虑这个限制。

Answer 1

您要搜索的参数恰好是linger.ms。它的默认值是0，所以这意味着生产者将尽快发送消息(当发送者线程可用时)，没有任何延迟，即使batch.size不能到达。条件是生产者在到达batch.size或linger.ms时间到期时开始发送消息。如果您希望生产者仅在达到batch.size时发送消息，则应该增加linger.ms时间(大于0)，并确保您的应用程序能够在为linger.ms时间设置的值之前生成填充批处理的消息；只有在这种情况下，生产者才会发送消息，因为达到了batch.size，而不是linger.ms过期。当然，增加linger.ms意味着当您不能到达batch.size但您想在任何情况下发送消息时，增加发送消息的延迟。