kafka_connect找不到它的连接器

Question

我有一个汇合卡夫卡集群在EC2机器上的码头容器中运行，如下所示

• 在单独的EC2实例上为动物园管理员和卡夫卡经纪人提供3个码头容器
• 的单独EC2实例上的一个停靠容器 confluent_control_center
• 在上面的控件中心为EC2运行的同一个kafka_connect实例上有一个停靠容器。

下面是control_center和kafka_connect的配置

CONTROL-CENTER

bootstrap.servers=<ec2_1:9092,ec2_2:9092,ec_3:9092>
zookeeper.connect=<ec2_1:2181,ec2_2:2181,ec_3:2181>
confluent.controlcenter.data.dir=/var/lib/confluent-control-center
confluent.monitoring.interceptor.topic.replication=1
confluent.controlcenter.internal.topics.replication=1
confluent.controlcenter.command.topic.replication=1
confluent.metrics.topic.replication=1
confluent.controlcenter.internal.topics.partitions=1
confluent.monitoring.interceptor.topic.partitions=1
confluent.controlcenter.config.dir=/etc/confluent-control-center
confluent.controlcenter.streams.num.stream.threads=2
confluent.controlcenter.replication.factor=1
confluent.controlcenter.connect.cluster=http://<kafka_connect_ec2>:8083

KAFKA-CONNECT

config.storage.topic=connect_config
log4j.root.loglevel=INFO
group.id=kafka-connect
bootstrap.servers=<ec2_1:9092,ec2_2:9092,ec_3:9092>
plugin.path=/usr/share/confluent-hub-components
key.converter=org.apache.kafka.connect.json.JsonConverter
offset.storage.topic=connect-offsets
internal.key.converter.schemas.enable=false
consumer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor
value.converter=org.apache.kafka.connect.json.JsonConverter
status.storage.topic=connect-status
producer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringProducerInterceptor
internal.value.converter.schemas.enable=false
rest.advertised.host.name=CONNECT
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter=org.apache.kafka.connect.json.JsonConverter

在下面的片段中，我正在显示插件目录中安装了gcs连接器。

root@76763ee93675:/usr/share/confluent-hub-components# ls
confluentinc-kafka-connect-gcs

但是，当我启动容器时，我也无法看到gcs，也无法通过以下方式访问kafka-connect。

http://kafka_connect_ec2:8083/connectors

上面的返回一个空列表[]

我也看不到gcs连接器在control_center中

​

​

一些帖子建议将实际的gcs文件移到插件目录中，我尝试了这一点，但没有成功。

另一件我无法理解的事情，在图片中你可以看到有两个连接器，control_center可以“看到”

• SchemaSourceConnector
• FileStreamSourceConnector

我不知道control_center是在哪里找到这些的。

有人能告诉我这里有什么配置错误吗？

提前谢谢。

Answer 1

万一别人碰到这样的事.发生的情况是，卡夫卡连接正在运行的对接器容器没有足够的资源来加载所有的连接器，所以它要么加载一些连接器，而忽略其余的连接器，要么耗尽资源，使主机无法访问。我希望Kafka日志能够反映连接器加载失败的事实。无论如何，由于我是在一个EC2实例上运行我的安装程序，我所要做的就是升级我的实例大小，这解决了这个问题。谢谢!

Answer 2

控制中心可能不是问题，所以在连接器url之外不需要配置。

您可以查找连接服务器的/connector-plugins以查看相同的内容。

您需要确保plugin.path设置正确，以便从/usr/share/java和/usr/share/confluent-hub-components中读取，以查看已安装的汇流集线器以及任何预装连接器。

您列出的这两个变量是CLASSPATH变量的一部分，连接过程也会选择这个变量。

注意:根据汇合文档，GCS连接器已经是Kafka Connect Docker映像的一部分。