使用kafka - FileNotFoundException -FileNotFoundException任务的kafka日志

Question

在跑了23天之后，我每隔5分钟就会看到这个：

ERROR Uncaught exception in scheduled task 'kafka-log-retention' (kafka.utils.KafkaScheduler) java.io.FileNotFoundException: /tmp/kafka-logs/events-7/00000000000000000000.index (No such file or directory)

我的设置是：

log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false

这似乎是一个非常简单的设置。现在，系统也没有看到很大的量。

你知道为什么我会看到这个错误吗？

Answer 1

检查/etc/cron.daily/tmpwatch的内容。在我的机器上，它指示/tmp中超过10天的文件将被删除。解决方案是为Kafka log.dirs配置属性选择另一个目录。不确定如何从数据丢失中恢复，因为文件实际上已被删除。幸运的是，我的集群不是用于生产的。