我们有一个数据流管道,其中日志是从websocket端点发送的,需要在执行简单的数据增强(密码掩蔽等)后将其推送到Splunk。
我在检查卡夫卡是否可以用于这个,因为卷真的很高。因此,可能的流动是:
Websocket端点---------some-wss-connector--------> Kafka主题
我找到了一个连接器,它可以推送到Splunk at:https://github.com/splunk/kafka-connect-splunk,而且它工作得很好。
需要在另一个连接器(粗体以上)的帮助,从卡夫卡的websocket端点读取并推送到一个主题。有人做过类似的事吗?请指点。
注意:我看过WebSocket to Kafka Topic Scala API,但它使用的是Akka (与Scala一起使用),但我担心Akka/Scala目前并不是我们企业的一部分。
提前谢谢。维奈
发布于 2019-09-16 16:29:01
嗯,我想你需要某种适配器应用程序(不管是否以kafka连接的形式)。我的想法是编写一个小的spring引导应用程序,它实现了一个websocket客户端,请参阅这个链接来了解如何(向下滚动):https://www.sitepoint.com/implementing-spring-websocket-server-and-client/。
然后,您可以使用spring将通过websocket接收的消息推送到apache kafka,这在我的经验中运行得很好:https://spring.io/projects/spring-kafka。
对于从SpringBoot应用程序到Kafka的序列化,您可以使用JSON,但是我用AVRO和模式注册中心https://docs.confluent.io/current/schema-registry/index.html重新推荐完整的提示
这个想法的主要缺点是,您获得了另一个需要实现、维护、部署和扩展的应用程序。
希望这能帮上忙!
https://stackoverflow.com/questions/57960475
复制相似问题