如何在Strimzi中使用Kafka连接

Question

我正在使用带有strimzi操作符的Kafka，我创建了一个Kafka集群，并使用yml文件部署了Kafka连接。但在这之后，我完全不知道下一步该做什么。我了解到Kafka connect用于将数据从源复制到Kafka集群，或者从Kafka集群复制到另一个目标。我想使用Kafka connect将文件中的数据复制到Kafka集群的any主题。谁能帮助我，我怎么做，我正在分享的yml文件，我用来创建我的Kafka连接集群。

apiVersion: kafka.strimzi.io/v1beta1

kind: KafkaConnect

metadata:

  name: my-connect-cluster

#  annotations:

#  # use-connector-resources configures this KafkaConnect

#  # to use KafkaConnector resources to avoid

#  # needing to call the Connect REST API directly

#    strimzi.io/use-connector-resources: "true"

spec:

  version: 2.6.0

  replicas: 1

  bootstrapServers: my-cluster-kafka-bootstrap:9093

  tls:

    trustedCertificates:

      - secretName: my-cluster-cluster-ca-cert

        certificate: ca.crt

  config:

    group.id: connect-cluster

    offset.storage.topic: connect-cluster-offsets

    config.storage.topic: connect-cluster-configs

    status.storage.topic: connect-cluster-status

@kubeclt创建-f kafka-connect.yml -n strimzi

在Kafka connect的pod处于运行状态后，我不知道下一步该做什么。请帮帮我。

Answer 1

Kafka连接exposes a REST API，因此您需要从连接pod公开HTTP端点

我读到Kafka connect用于将数据从源复制到Kafka集群，或者从Kafka集群复制到另一个目标。

这是一个应用程序，但听起来您需要MirrorMaker2来代替它

如果不想使用REST API，则取消此行的注释

#    strimzi.io/use-connector-resources: "true"

并使用另一个YAML文件来配置连接资源as shown here for Debezium。请参阅kind: "KafkaConnector"

Answer 2

看看这个simple example from scratch。这并不是你真正想要做的，但是很接近。我们使用kafka-console-producer.sh向主题发送消息，并使用文件接收器连接器使用它们。

该示例还展示了如何通过基于Strimzi创建您自己的自定义Connect图像来包含其他连接器。对于涉及外部系统的更复杂的示例，这一步是必需的。