首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Kafka:使用websockets中的数据并推送到主题的连接器

问Kafka:使用websockets中的数据并推送到主题的连接器
EN

Stack Overflow用户
提问于 2019-09-16 15:53:31
回答 1查看 2.2K关注 0票数 0

我们有一个数据流管道,其中日志是从websocket端点发送的,需要在执行简单的数据增强(密码掩蔽等)后将其推送到Splunk。

我在检查卡夫卡是否可以用于这个,因为卷真的很高。因此,可能的流动是:

Websocket端点---------some-wss-connector--------> Kafka主题

我找到了一个连接器,它可以推送到Splunk at:https://github.com/splunk/kafka-connect-splunk,而且它工作得很好。

需要在另一个连接器(粗体以上)的帮助,从卡夫卡的websocket端点读取并推送到一个主题。有人做过类似的事吗?请指点。

注意:我看过WebSocket to Kafka Topic Scala API,但它使用的是Akka (与Scala一起使用),但我担心Akka/Scala目前并不是我们企业的一部分。

提前谢谢。维奈

EN

回答 1

Stack Overflow用户

发布于 2019-09-16 16:29:01

嗯,我想你需要某种适配器应用程序(不管是否以kafka连接的形式)。我的想法是编写一个小的spring引导应用程序,它实现了一个websocket客户端,请参阅这个链接来了解如何(向下滚动):https://www.sitepoint.com/implementing-spring-websocket-server-and-client/。

然后,您可以使用spring将通过websocket接收的消息推送到apache kafka,这在我的经验中运行得很好:https://spring.io/projects/spring-kafka。

对于从SpringBoot应用程序到Kafka的序列化,您可以使用JSON,但是我用AVRO和模式注册中心https://docs.confluent.io/current/schema-registry/index.html重新推荐完整的提示

这个想法的主要缺点是,您获得了另一个需要实现、维护、部署和扩展的应用程序。

希望这能帮上忙!

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/57960475

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档