卡夫卡主题划分

Question

卡夫卡主题分隔偏移位置总是从0或随机值开始，如何确保消费者记录是分区中的第一条记录？有什么办法能查出来吗？如果有的话请告诉我。谢谢。

Answer 1

是也不是。

当您开始一个新主题时，偏移量从零开始。根据您使用的Kafka版本，偏移量是

• 逻辑-并按消息递增消息(自0.8.0：https://issues.apache.org/jira/browse/KAFKA-506)或
• 物理--即，偏移量由每条消息的字节数增加.

此外，旧日志条目通过可配置条件清除：

• 保留时间:例如，只保留最后一周的信息
• 保留大小:例如，使用最多10 be的存储空间；删除不能再存储的旧消息
• 日志压缩(自0.8.1起)：您只保留每个键的最新值(请参见https://cwiki.apache.org/confluence/display/KAFKA/Log+Compaction)

因此，如果删除旧消息，第一次偏移量可能不是零。此外，如果打开日志压缩，可能会缺少一些偏移。

在任何情况下，你总是可以寻求任何偏移安全，因为卡夫卡可以找出偏移是否有效。对于无效偏移量，将自动前进到下一个有效偏移量。因此，如果您试图偏移零，您将始终得到存储的最古老的消息.。

Answer 2

是，卡夫卡偏移量从0开始，以完整记录的字节长度结束，然后下一条记录从那里开始选择偏移量。

由于Kafka是分布式的，所以我们不能保证消费者会以有序的方式获取数据。