Kafka分区为空

文章/答案/技术大牛

发布

1回答

apache-kafka、spring-kafka、kafka-producer-api

我使用的是spring kafka模板来写消息到一个kafka主题中，下面的接口用于发布消息。V>> send(String topic, K key, @Nullable V data) {... } 使用此接口的好处是它返回一个sendResult对象，该对象具有一些元数据，如主题、分区现在的问题是，分区被打印为null。我没有回调，而是尝试将其更改为future.get(10, TimeUnit.SECONDS)以获取sendResult。即使这样，分区也会打印

浏览 41提问于2020-11-18得票数 0

回答已采纳

1回答

Ignite Source Kafka Connector是否提供数据的主题分区？

apache-kafka、ignite

但由于高负载和只有一个分区，我们有时会得到如此多的延迟，这可能不是我们未来的最佳解决方案。因此，我们计划有多个消费者组，但由于我们将只有一个分区，这将导致一致性问题，因为我们需要队列排序。我们可以通过IgniteSourceConnector为主题配置多个分区吗

浏览 21提问于2021-07-21得票数 0

1回答

Kafka主题分区中的键和值avro消息分发

apache-kafka、kafka-consumer-api、kafka-producer-api

我们使用6个分区的kafka主题，来自生产者的传入消息有4个键key1、key2、key3、key4及其相应的值，我发现这些值只分布在3个分区中，其余的分区仍然是空的。消息的分布是否以键的哈希值为基础？假设我的Key1的哈希值是XXXX，那么它在总共6个分区中属于哪个分区呢？我使用kafka连接HDFS连接器将数据写入HDFS，并且我知道它使用键的哈希值向分区分发消息，这与kafka分发消息的

浏览 1提问于2018-07-22得票数 0

回答已采纳

2回答

如何在Confluent.Kafka中获得一个主题的所有‘`PartitionTopic`s’的列表？

c#、apache-kafka

我正在使用confluent-kafka-dotnet (Confluent.Kafka)为Kafka生成消息。我想手动管理消息转到哪些分区，以保持某些消息组的顺序。如何获取Kafka主题的PartitionTopic列表？我看过Java中的this solution。但我不明白如何用Confluent.Kafka实现同样的功能。或者，可以使用键发送消息，因为可以保证相同的键在相同的分区上。但同样，我找不到一种方法来创建除Null之外的任何键类型的

浏览 113提问于2020-07-14得票数 2

回答已采纳

1回答

卡夫卡主题分区函数-配置问题

apache-kafka

我正试图用librdkafka (c代码库)编写一个Kafka生产者。我不希望我的应用程序必须通过主题上的分区数手动循环。在Kafka生产者的Java版本中，这可以通过不指定分区或键来实现。“图书馆员”中的文件规定如下： * - RD_KAFKA_PARTITION_UA (unassignedpartitioning using the topic's partitioner functio

浏览 2提问于2018-10-26得票数 4

3回答

如果在收到create消息之前收到了update消息，该如何处理kafka消息？

apache-kafka、kafka-consumer-api、spring-kafka

我们有多个kafka分区。因此，假设create消息发送到分区1，update消息发送到分区2。现在的问题是，有时update message比create message更早执行。

浏览 0提问于2021-05-06得票数 1

1回答

如何知道在Kafka中消费哪个分区？

go、apache-kafka、kafka-consumer-api、messagebroker

我有一个主题，在Kafka broker中有3个分区，1个分区有消息，2个分区是空的，我如何知道在一次调用中消费哪个分区？首先，我分配了一个分区等于kafka.PartitionAny的TopicPartition，但是这个值一直返回-1for{ partitions

浏览 0提问于2019-08-22得票数 0

1回答

为什么在没有指定分区键的情况下，数据在不同分区之间分布不均匀？

apache-kafka

这个解释在Kafka 10中仍然有效吗？在Kafka producer中，可以指定分区键来表示消息的目的分区。默认情况下，基于散列的分区程序用于确定给定关键字的分区id，人们也可以使用自定义的分区程序。为了减少打开套接字的数量，在0.8.0 ()中，当分区键未指定或为空时，生产者将选择一个随机分区并坚持一段时间(默认值为10分钟)，然后切换到另一个分区。因此，如果生产者的数量少于

浏览 1提问于2017-05-04得票数 0

2回答

Spring:使用Jpa和Kafka的ChainedKafkaTransactionManager不是原子的吗？

java、spring、spring-boot、spring-data-jpa、spring-kafka

我们使用Kafka来通知哪些信息必须由接收方管理。(注意:我必须泛化代码)@Configurationpublic class KafkaConfig { return factory;然后我们有一些产生Kafka的消息，但有时数据库上的记录还不存在，所以当我

浏览 7提问于2021-10-28得票数 0

1回答

Kafka -如果分区丢失，如何恢复？

apache-kafka

集群中有4个Kafka节点，一个topic分成40个分区，副本数为2，Kafka版本为2.3.1。两个Kafka节点同时死掉，无法重新启动，Kafka日志丢失，如何恢复？我确信我丢失了一些数据，因为一些分区丢失了(一些分区只在已死的节点上有副本)。我尝试添加两个新的Kafka节点，并将分区重新分配给所有4个可用的Kafka节点。最后，丢失的分区不会重新分配给两

浏览 116提问于2020-01-03得票数 2

回答已采纳

1回答

如何在卡夫卡中均匀分布数据，通过火花产生信息？

apache-spark、apache-kafka、spark-streaming-kafka

我有一个流作业，它将数据写入Kafka，我注意到一个Kafka分区(#3)比其他分区接收更多的数据。| 6100140089 | 6288410789 |我找到了一个选项--使用Kafka分区数重新划分输出数据集(5)。

浏览 2提问于2020-05-22得票数 1

回答已采纳

1回答

合流卡夫卡休息avr“生产者”

apache-kafka、confluent-platform

我使用confluent kafka-rest生成avro消息，当我使用rest端点使用它时，返回格式如下所示。{ "value": {ACTUAL_PAYLOAD},} 我想知道kafka中的消息实际上是这种格式，或者"key“和”分区“是由使用者端点添加的。

浏览 2提问于2016-10-14得票数 1

回答已采纳

1回答

使用gRPC微服务和Kubernetes进行路由

apache-kafka、google-kubernetes-engine、grpc

我有两个应用程序，一个是Kafka的普通用户，另一个是基于gRPC的微服务。Kafka消费者只负责消息的消费，业务逻辑驻留在微服务中。此外，我们的Kafka主题中的消息键为空，因此Kafka将消息循环分配给分区，该分区将传入的消息均匀地分配到所有分区。

浏览 0提问于2019-08-11得票数 0

1回答

组中的Kafka使用者跳过分区。

apache-kafka、kafka-consumer-api、apache-kafka-streams

主题有6个分区。分配给组的单个使用者。我做投票，如下面的Consumer.poll(10000)，我退出消费者获取时，没有记录返回。从文档中，我相信当没有要使用的记录和持续时间10000足以重新平衡和获取记录时，轮询返回为空。多数时间轮询使用所有分区的记录，但有时轮询从3个分区获取记录，然后返回空记录，而不消耗其他3个分区。顺便说一下，我使用了2.0.1Kafka客户端，Kafka服务器版本是2.11-2.2.0。任何人都知道为什么我的使用者跳过其他

浏览 1提问于2020-01-23得票数 1

回答已采纳

2回答

默认的Kafka分区程序创建哈希键冲突

hash、apache-kafka、key、partitioner

我有一个有10个分区的主题，我用A,B,C,D,E,F,G,H,I 9不同的键生成事件。Partition7-(Message4, Key A), (Message5, Key A)Partition9- Empty 在同一个分区中有两个具有不同键的消息，也有空分区。

浏览 0提问于2019-05-31得票数 1

回答已采纳

1回答

如何使用空键在不同分区上为同一主题生成消息

c#、apache-kafka、confluent-platform

因此，在进行安装时，我创建了6个分区0、1.5，并尝试使用空键将消息存储到不同的分区。Encoding.UTF8));但是，当我试图运行我的生产者类代码时，它会被存储在同一个分区中编辑：现在，再次生成下一条消息- topic1 Kafka R

浏览 2提问于2017-11-02得票数 0

1回答

向现有主题添加新分区，并将其分配给特定节点。

apache-kafka

有一个有6个分区的主题，而当时我们使用的是一个有3个节点的集群。然后我们添加了第四个节点。在Kafka中，可以使用./kafka-topics --alter --topic my_topic --partitions 8 cli命令增加现有主题的分区数。在此过程中，我期望Kafka将两个新分区分配给第四个节点(或至少一个分区)。但它使用了“从头开始”方法，因为第一个和第二个节点分别声明了第7和第8分区。有什么方法可以让我告诉卡夫卡将哪个<e

浏览 4提问于2022-10-10得票数 0

回答已采纳

2回答

是否有可能迫使清理者为流量很低的分区压缩分区日志？

apache-kafka

是否可以强迫清洁器为流量很低的分区压缩分区日志？对于将retention.policy设置为"compact, delete"的主题，可以理解压缩(以及对于空记录-删除)是在较干净的线程决定清理日志时发生的。这个决定是基于几件事。因为在记录被写入之前，活动段不会被清除，新段也不会成为活动段，那么是否有可能强迫清理器为不再接收任何写通信量的主题压缩分区日志呢？示例日志： $ kcat -b kafka:9092 -t foo -C -

浏览 11提问于2021-12-10得票数 1

回答已采纳

2回答

测试kafka是否准备好了，主题可以从cli访问。

apache-kafka

我在K8s环境中运行Kafka，并有一个init容器来创建几个主题。我希望我的主容器只在主题创建并且主题是“可订阅的”时才启动。我确实尝试过kafka-控制台-使用者，但是即使主题不存在，它也不会退出状态1，如果无法访问引导服务器，它也会退出状态1。我正在寻找一种类似于下面的解决方案退出时使用0(这个可以工作) k

浏览 1提问于2019-05-13得票数 2

回答已采纳

2回答

如何让Kafka将数据均匀分布在多个key的所有分区上？

apache-kafka、partition、unique-key

一个Kafka主题是用10个分区创建的，producer用12个不同的键(标记为key_1，key_2，key_3，...，key_10)生成了多条消息。观察到，所有消息仅发送到2个分区，其中大部分消息在其中一个分区中，其余的很少在另一个分区中。10个分区中有8个仍然是空的。如何让Kafka根据key在所有10个分区上均匀分配数据？

浏览 25提问于2021-11-15得票数 0

点击加载更多