如何将s3中的数据读入Kafka (Docker镜像)

Question

我已经在windows的docker上安装了kafka，它的运行方式如下面的截图所示，我已经使用这个链接https://docs.confluent.io/kafka-connect-s3-source/current/index.html#quick-start安装了“亚马逊S3源连接器”。

我的问题是：

I)如何执行命令来查看所有kakfa主题(不通过GUI)

ii)如何检查S3源连接器是否已安装属性(我指的是位置或CLI.)

iii)和link还指定创建和使用“quickstart-s3soure.properties”，我在哪里可以做到这一点？在我桌面上的docker上？

​

​

Answer 1

关于您的问题标题，源连接器不读取任意的S3数据，只读取S3接收器写入的数据

执行命令以查看所有kakfa主题

kafka-topics --list

检查是否安装了S3源连接器

您只运行datagen连接器，该连接器不包括S3源，但是您将使用连接服务器的/connector-plugins端点

指定创建并使用“quickstart-s3Soure.properties”

您需要将其转换为JSON，因为Docker运行的是分布式连接服务器，而这些快速入门文件是用于独立的。只要文件是通过HTTP POST提供给Connect服务器的，那么在哪里创建文件并不重要