合流对接器cp-kafka-连接4.0.0 - HTTP500超时值和COORDINATOR_NOT_AVAILABLE

Question

我正在使用3.3.1版本的confluent映像运行我的当前基础设施，一切都很好。现在，我正在尝试用v4.0.0设置一个沙箱环境，但我遇到了一些问题。

我遇到了问题，运行cp连接(v4.0.0)到由合流提供的坞映像。

基础设施细节:我使用的是码头映像cp:4.0.0以及动物园管理员和我所有的流/消费者/生产者应用程序，我在基础设施上的工作非常完美。只有cp连接:4.0.0不起作用。卡夫卡正在运行与自动主题创建活动。

我使用以下env变量运行连接容器：

-e CONNECT_BOOTSTRAP_SERVERS=kafka1.kafka:9092,kafka2.kafka:9092,kafka3.kafka:9092
-e CONNECT_GROUP_ID=connect-03
-e CONNECT_CONFIG_STORAGE_TOPIC=connect03-config
-e CONNECT_OFFSET_STORAGE_TOPIC=connect03-offsets
-e CONNECT_STATUS_STORAGE_TOPIC=connect03-status
-e CONNECT_KEY_CONVERTER=org.apache.kafka.connect.storage.StringConverter
-e CONNECT_VALUE_CONVERTER=org.apache.kafka.connect.json.JsonConverter
-e CONNECT_INTERNAL_KEY_CONVERTER=org.apache.kafka.connect.json.JsonConverter
-e CONNECT_INTERNAL_VALUE_CONVERTER=org.apache.kafka.connect.json.JsonConverter
-e CONNECT_REST_ADVERTISED_HOST_NAME=kafka-connect-03.kafka
-e CONNECT_REST_PORT=8083
-e CONNECT_LOG4J_ROOT_LOGLEVEL=TRACE
-e CONNECT_KEY_CONVERTER_SCHEMAS_ENABLE=false
-e CONNECT_VALUE_CONVERTER_SCHEMAS_ENABLE=false
-e CONNECT_INTERNAL_KEY_CONVERTER_SCHEMAS_ENABLE=false
-e CONNECT_INTERNAL_VALUE_CONVERTER_SCHEMAS_ENABLE=false

但是，当我执行REST调用时：

curl -X GET http://kafka-connect-03.kafka/connectors/ -H 'cache-control: no-cache' -H 'content-type: application/json'

几分钟后，我会收到HTTP 500超时错误。

我可以看到这个(请注意:这条消息是独立于cUrl调用打印的，并且是永远打印的)：

    [2017-12-31 17:55:40,099] DEBUG [Consumer clientId=consumer-1, groupId=connect03] Sending GroupCoordinator request to broker kafka3.kafka:9092 (id: 1009 rack: null) (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
[2017-12-31 17:55:40,099] TRACE [Consumer clientId=consumer-1, groupId=connect03] Sending FIND_COORDINATOR {coordinator_key=connect03,coordinator_type=0} with correlation id 3098 to node 1009 (org.apache.kafka.clients.NetworkClient)
[2017-12-31 17:55:40,100] TRACE [Consumer clientId=consumer-1, groupId=connect03] Completed receive from node 1009 for FIND_COORDINATOR with correlation id 3098, received {throttle_time_ms=0,error_code=15,error_message=null,coordinator={node_id=-1,host=,port=-1}} (org.apache.kafka.clients.NetworkClient)
[2017-12-31 17:55:40,100] DEBUG [Consumer clientId=consumer-1, groupId=connect03] Received GroupCoordinator response ClientResponse(receivedTimeMs=1514742940100, latencyMs=1, disconnected=false, requestHeader=RequestHeader(apiKey=FIND_COORDINATOR, apiVersion=1, clientId=consumer-1, correlationId=3098), responseBody=FindCoordinatorResponse(throttleTimeMs=0, errorMessage='null', error=COORDINATOR_NOT_AVAILABLE, node=:-1 (id: -1 rack: null))) (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
[2017-12-31 17:55:40,100] DEBUG [Consumer clientId=consumer-1, groupId=connect03] Group coordinator lookup failed: The coordinator is not available. (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
[2017-12-31 17:55:40,100] DEBUG [Consumer clientId=consumer-1, groupId=connect03] Coordinator discovery failed, refreshing metadata (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)

同时，在卡夫卡日志上，我看不到任何错误。

我试过：

• 离开connect/kafka创建主题(配置、偏移和状态)

结果:只创建偏移主题。

• 在此之前自行创建主题

结果:没有任何值得注意的地方

• 每次尝试时，我都会更改groupId / appId配置/偏移/状态主题名称(以避免任何脏设置问题)。

有这种行为的线索吗？

非常感谢你的支持。

Answer 1

最后，我意识到问题出在哪里。我启动了没有KAFKA_BROKER_ID env变量的kafka容器。这就引出了一个具有伪随机数的kefka经纪人(如1007)。

自从我多次启动/停止kafka容器以来，发生了一些集群配置混乱的事件。事实上，在查看集群时，我发现集群由3个代理(活动，1007,1008,1009)和其他3个离线(1004,1005,1006)组成。当我创建created connect时，第一次是与前3位经纪人，而不是什么东西被腐蚀了。

现在我把所有的东西都清理干净了，我把KAFKA_BROKER_ID放在每个卡夫卡经纪人里，一切都正常。

非常感谢。