春季卡夫卡中的UNKOWN_PRODUCER_ID异常

Question

我使用spring 2.1.9和SpringKafka2.2.9与Kafka链式交易。

我每次都收到卡夫卡制片人的警告。由于这一点，一些时间功能将无法工作。

我想知道为什么会出现这些错误？配置有问题吗？

2020-05-04 09:12:35.216  WARN [xxxxx-order-service,,,] 10 --- [ad | producer-8] o.a.k.clients.producer.internals.Sender  : [Producer clientId=producer-8, transactionalId=xxxxx-Order-Service-JOg4T1vFzW4tuc-2] Got error produce response with correlation id 1946 on topic-partition process_event-0, retrying (2147483646 attempts left). Error: UNKNOWN_PRODUCER_ID
2020-05-04 09:12:35.327  WARN [xxxxx-order-service,,,] 10 --- [ad | producer-8] o.a.k.clients.producer.internals.Sender  : [Producer clientId=producer-8, transactionalId=xxxxx-Order-Service-JOg4T1vFzW4tuc-2] Got error produce response with correlation id 1950 on topic-partition audit-0, retrying (2147483646 attempts left). Error: UNKNOWN_PRODUCER_ID
2020-05-04 09:12:53.512  WARN [xxxxx-order-service,,,] 10 --- [ad | producer-6] o.a.k.clients.producer.internals.Sender  : [Producer clientId=producer-6, transactionalId=xxxxx-Order-Service-JOg4T1vFzW4tuc-0] Got error produce response with correlation id 5807 on topic-partition process_submitted_page_count-2, retrying (2147483646 attempts left). Error: UNKNOWN_PRODUCER_ID
2020-05-04 09:12:53.632  WARN [xxxxx-order-service,,,] 10 --- [ad | producer-6] o.a.k.clients.producer.internals.Sender  : [Producer clientId=producer-6, transactionalId=xxxxx-Order-Service-JOg4T1vFzW4tuc-0] Got error produce response with correlation id 5811 on topic-partition process_event-0, retrying (2147483646 attempts left). Error: UNKNOWN_PRODUCER_ID
2020-05-04 09:12:53.752  WARN [xxxxx-order-service,,,] 10 --- [ad | producer-6] o.a.k.clients.producer.internals.Sender  : [Producer clientId=producer-6, transactionalId=xxxxx-Order-Service-JOg4T1vFzW4tuc-0] Got error produce response with correlation id 5816 on topic-partition audit-0, retrying (2147483646 attempts left). Error: UNKNOWN_PRODUCER_ID

Answer 1

我想你可能是撞到这个问题了。

当流应用程序的通信量很小时，消费者清除可能甚至会删除生产者发送的最后一条消息(即该生产者发送的所有消息都已被消耗和提交)，因此代理将删除该生产者的ID。下次当该生产者尝试发送时，它将得到这个UNKNOWN_PRODUCER_ID错误代码，但在这种情况下，这个错误是可检索的:生产者只需要获得一个新的生产者id并重试，然后这一次它就会成功。

提出的解决方案:升级卡夫卡

现在这个问题是已解决版本的2.4.0+，所以如果你还在点击它，你需要升级到一个更新的卡夫卡版本。

transactional.id.expiration.ms 替代方案:增加保留时间&

或者，如果您不能(或者不想)升级，那么您可以增加保留期(log.retention.hours)以及定义不活动时间的transactional.id.expiration.ms，这样生产者才能被视为过期(默认为7天)。