如何在Apache Flink中有条件地处理流数据

Question

我正在使用Flink来开发我的Java流媒体工作。

在我的例子中，有两个数据源:A和B。

A保持生成布尔数据: true或false。

我正在努力实现这样一个目标：

if get false from A
    get data from B and do some process
else
    do nothing

我如何编写我的流媒体作业？

Answer 1

Flink适用于push模型，而不是pull模型。因此，您并不是“从B获取数据”，而是每当数据从B到达时都会调用您的操作符。假设您对数据源A使用广播流，那么您可以忽略(丢弃)来自B的数据，或者在获得true时对其进行缓冲和处理(但缓冲状态可能具有挑战性，这取决于您在等待来自A的真实信号时可能收到的数据量)。

请注意，如果B是某个队列系统(例如Kafka)，那么您可以将其建模为来自A的简单的单输入运算符，其中您的运算符直接使用Kafka消费者从Kafka主题中提取数据。显然还有更多的工作要做，但这是一个可能的解决方案。您可能希望保存当前的偏移状态(类似于Flink Kafka源代码)。运算符的并行度与Kafka中的分区数量之间存在额外的复杂性，等等。