我使用以下命令在我的kafka集群中创建了一个主题。
/opt/kafka/bin/kafka-topics.sh --zookeeper kaf1:2181,kaf2:2181,kaf3:2181 --create --topic mytopic --partitions 10 --replication-factor 2 --config retention.bytes=1074000000 --config delete.retention.ms=6000 --config segment.bytes=105000000
所以,如果我正确理解了文档,我有一个主题,10个分区在我的3台kafka主机之间复制了2次。接下来,每个kafka主机必须保留1Go的数据。每个段的大小为100Mo,1分钟后将删除所有旧日志。
现在,当我在kafka主机上的日志目录上执行du -h时,我得到了:
1,2G ./mytopic-2 1,1G ./mytopic-8 1,2G ./mytopic-9 1,1G ./mytopic-6 1,1G ./mytopic-3 1,1G ./mytopic-0 1,2G ./mytopic-4 7,6G .
我认为为整个目录获取1Go,而不是为每个分区。
所以我的问题很简单,主题配置是针对每个分区还是针对所有主题?
谢谢。
发布于 2016-09-08 04:51:54
请看下图(集群节点的分区分布可能不同):

https://stackoverflow.com/questions/39371928
复制相似问题