Flafka (Http -> Flume->Kafka ->Spark流媒体)

Question

我有一个用于实时流的用例，我们将使用Kafka(0.9)作为消息缓冲区，使用火花流(1.6)进行流处理(HDP 2.4)。我们将在Http上收到~80~90K/Sec活动。请您提出一个推荐的架构，用于将数据摄取到Kafka主题中，这将被火花流所消耗。

我们正在考虑弗拉夫卡建筑。

Flume是否收听Http并发送给Kafka (Flafka )进行实时流媒体是一个不错的选择？

如果有的话，请分享其他可能的方法。

Answer 1

一种方法可以是卡夫卡连接。寻找是一个适合您的需求或开发自定义新源的源。