K8s上的SCDF :当向Kafka - ticktock +没有关于ticktock.time主题的消息发送消息时，生产者异常

Question

当试图向Kafka发送消息时，计时器应用程序将引发每秒错误。

2017-08-03 10:20:58,805 ERROR kafka-producer-network-thread | producer-2 o.s.k.s.LoggingProducerListener:76 - Exception thrown when sending a message with key='null' and payload='{-1, 2, 11, 99, 111, 110, 116, 101, 110, 116, 84, 121, 112, 101, 0, 0, 0, 12, 34, 116, 101, 120, 116...' to topic metrics: org.apache.kafka.common.errors.TimeoutException: Expiring 2 record(s) for metrics-0 due to 30009 ms has passed since batch creation plus linger time

在我看来，这些似乎是度量主题的记录，但同时，在卡夫卡的ticktock.timer主题中没有记录。我猜这个分区键为null可能是问题所在。但是我不太清楚为什么它应该使用一些不是默认的分区设置。

以下是我的部署：

dataflow:> app register --type sink --name log --uri docker://springcloudstream/log-sink-kafka-10:1.2.0.RELEASE --metadata-uri maven://org.springframework.cloud.stream.app:log-sink-kafka-10:jar:metadata:1.2.0.RELEASE dataflow:> app register --type source --name time --uri docker://springcloudstream/time-source-kafka-10:1.2.0.RELEASE --metadata-uri maven://org.springframework.cloud.stream.app:time-source-kafka-10:jar:metadata:1.2.0.RELEASE dataflow:> stream create --name ticktock --definition "time | log" --deploy

这是我的设计：

spring-cloud-dataflow-server-kubernetes: 1.3.0.BUILD-SNAPSHOT
Spring Cloud Data Flow Core: 1.3.0.BUILD-SNAPSHOT
Spring Cloud Dataflow UI: 1.3.0.BUILD-SNAPSHOT

我在用卡夫卡10 BTW。

有什么问题吗？

非常感谢您的支持！

Answer 1

时间源应用程序的日志让生产者发布到metrics主题看起来很奇怪。您是否有可能将此主题配置为此流的一部分？

我假设流部署具有创建的主题ticktock.time，如果有任何其他日志信息(可能是一些调试日志)，您可以共享时间源应用程序正在发生的情况。

另外，在快速搜索之后，看起来卡夫卡生产者批处理的超时异常确实出现在某些kubernetes环境中，您认为您是否遇到了其中的一个？