Kafka主题分区中的键和值avro消息分发

Question

我们使用6个分区的kafka主题，来自生产者的传入消息有4个键key1、key2、key3、key4及其相应的值，我发现这些值只分布在3个分区中，其余的分区仍然是空的。

1. 消息的分布是否以键的哈希值为基础？
2. 假设我的Key1的哈希值是XXXX，那么它在总共6个分区中属于哪个分区呢？
3. 我使用kafka连接HDFS连接器将数据写入HDFS，并且我知道它使用键的哈希值向分区分发消息，这与kafka分发消息的方式相同吗？

Answer 1

• 是的，针对分区的消息的分布是由消息键的散列决定的--在该主题上，组合键总分区计数。例如，如果您以k作为键向具有p分区的主题mytopic发送消息m，则m将转到mytopic中的分区k.hashCode() %p。我想这也回答了你的第二个问题。在您的示例中，两个结果值被映射到同一个分区。
• 如果我的记忆正确的话，Kafka连接器应该负责使用Kafka主题，并将其放入Hadoop中。您不需要担心那里的分区，而是抽象出来的。