Apache作业中的多流支持

Question

我的问题是关于Apache框架。

有没有任何方法来支持一个以上的流媒体源，如卡夫卡和twitter在单一的flink工作？是否有任何工作，around.Can，我们一次处理多个流源，在单个flink作业中？

我目前工作在星火流，这是限制在那里。

通过其他流框架(如Apache、Storm或NIFI )可以实现这一点吗？

人们期待着人们的回应。

Answer 1

是的，这在Flink和Storm中是可能的(不知道Samza或NIFI.)

您可以添加任意多个源运算符，并且每个源都可以使用不同的源。

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

Properties properties = ... // see Flink webpage for more details    

DataStream<String> stream1 = env.addSource(new FlinkKafkaConsumer08<>("topic", new SimpleStringSchema(), properties);)
DataStream<String> stream2 = env.readTextFile("/tmp/myFile.txt");

DataStream<String> allStreams = stream1.union(stream2);

对于使用低级API的Storm，模式类似。请参阅An Apache Storm bolt receive multiple input tuples from different spout/bolt

Answer 2

有些解决方案已经讨论过了，我只想补充一点，在NiFi流中，您可以摄入许多不同的源，并单独或一起处理它们。

还可以摄取一个源，并让多个团队在此基础上构建流程，而无需多次摄入数据。