我有一个要求,在应用程序之外的源将把一个文件放在一个S3桶中,我们必须在一个kafka主题中加载该文件。我正在查看Confluent的S3源连接器,目前正在定义用于在我们的环境中设置连接器的配置。但是,有几篇文章指出,只有在使用S3 Sink连接器将文件放到S3中时,才能使用S3源连接器。
上面说的是真的吗?在配置中使用哪个属性来定义输出主题?当从S3读取并将它们放到主题中时,这些消息是否可以被转换。这两种格式都是JSON / Avro格式。
Confluent的快速启动示例还假设您使用了S3 Sink连接器,因此出现了问题。
谢谢
发布于 2020-12-15 18:26:02
我从Confluent收到了一个响应,即汇流S3源连接器确实只能与汇流S3 Sink连接器一起使用。它不能单独使用。
发布于 2021-12-22 16:36:04
合流版本2.0.0截至2021-12-15.此版本包括广义s3源连接方式
https://stackoverflow.com/questions/64817103
复制相似问题