在单分区的Kafka记录中，最多可以插入多少条记录？

Question

我想知道Kafka记录是如何编号/识别的。如果我有持续的数据流泛滥怎么办?它不会得到任何类型的溢出吗？

Answer 1

它不会溢出。它会将消息附加到日志的末尾。对于单个分区，您只是受到代理磁盘上可用空间的限制。

可以使用保留属性配置主题，以将数据保留到一定的时间、大小或无限期。

请参阅https://kafka.apache.org/documentation/#intro_topics

Answer 2

Apache Kafka根据代理的可用磁盘空间连续存储记录。这些记录是不可变的。每个主题都有用户指定的分区数。每个分区都是段的集合。

Partitions -段的集合

什么是数据段？

段是具有两个索引的文件-起始索引和结束索引。

每个分区都有一个分段架构，您可以在其中指定分段的偏移范围。一旦偏移范围满了，它就会创建一条新的线段。在其中生成记录的区段称为活动区段。