文章/答案/技术大牛

发布

社区首页 >问答首页 >用于与Kafka连接的S3连接器，用于将数据从本地传输到云

问用于与Kafka连接的S3连接器，用于将数据从本地传输到云
EN

Stack Overflow用户

提问于 2017-03-29 15:44:45

回答 2查看 5.5K关注 0票数 2

我想使用Kafka将数据从本地流式传输到云(S3)。为此，我需要在源机和云上安装kafka。但我不想把它放在云端。我需要一些S3连接器，通过它我可以与kafka连接，并将数据从本地传输到云。

apache-kafka

apache-kafka-connect

connector

amazon-s3

回答 2

Stack Overflow用户

发布于 2017-03-29 17:37:58

如果您的数据是Avro或Json格式(或者可以转换为这些格式)，您可以使用Kafka Connect的S3连接器。请参阅Confluent's docs on that

如果你想通过Kafka移动实际(更大)的文件，请注意Kafka是为小消息设计的，而不是为文件传输设计的。

票数 2

Stack Overflow用户

发布于 2018-09-04 23:32:53

有一个由Spreadfast的接收器和源连接器组成的kafka-connect-s3项目，它可以处理文本格式。不幸的是，它并没有真正更新，但仍然可以正常工作

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/43087384

复制

相似问题

问用于与Kafka连接的S3连接器，用于将数据从本地传输到云
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问用于与Kafka连接的S3连接器，用于将数据从本地传输到云EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问用于与Kafka连接的S3连接器，用于将数据从本地传输到云
EN