每一个主题的卡夫卡( retention.bytes )和全球log.retention.bytes (不起作用)

Question

我们正在运行一个6个节点集群的kafka 0.11.0。我们已经设置了以字节为单位的全局以及每个主题的保留，这两者都没有被应用。日志中没有我能看到的错误，只是没有删除任何错误(按大小；时间保留似乎是有效的)。

见下文所述的相关信息：

./config/server.properties：

# global retention 75GB or 60 days, segment size 512MB
log.retention.bytes=75000000000

log.retention.check.interval.ms=60000

log.retention.hours=1440

log.cleanup.policy=delete

log.segment.bytes=536870912

主题配置(30)：

[tstumpges@kafka-02 kafka]$ bin/kafka-topics.sh  --zookeeper zk-01:2181/kafka --describe --topic stg_logtopic
Topic:stg_logtopic    PartitionCount:12       ReplicationFactor:3     Configs:retention.bytes=30000000000
        Topic: stg_logtopic   Partition: 0    Leader: 4       Replicas: 4,5,6 Isr: 4,5,6
        Topic: stg_logtopic   Partition: 1    Leader: 5       Replicas: 5,6,1 Isr: 5,1,6
        ...

并且，磁盘使用率显示了一个分区的910 And使用量！

[tstumpges@kafka-02 kafka]$ sudo du -s -h /data1/kafka-data/*
82G     /data1/kafka-data/stg_logother3-2
155G    /data1/kafka-data/stg_logother2-9
169G    /data1/kafka-data/stg_logother1-6
910G    /data1/kafka-data/stg_logtopic-4

我可以看到分区目录中有大量的段日志文件(每个512 in ).怎么一回事？!

谢谢你，雷霆

Answer 1

通过kafka用户邮件列表找到了答案。我们显然是在打击卡夫卡虫卡夫卡-6030 (日志清洁器可清除比计算中的整数溢出)

升级到v1.0.0已经为我们解决了这个问题！