广播控制流和主流的排序

Question

从Cassandra将有界控制流排入队列，从Kafka读取主流。我的问题是，在处理主流之前，我们可以完全读取和广播控制流吗？

我们使用的是Flink 1.9.3和Java 8

Answer 1

这样做的标准技术是以某种方式将初始广播状态引导到保存点。然后，您可以使用来自该保存点的主流启动活动作业。

首先，要将该状态放在保存点中，有两种解决方案：

1. 使用状态处理器应用编程接口。(我从来没有尝试过使用广播状态，但我认为它应该可以工作。)我有一个simple example，它使用状态处理器API来引导键控状态，这可能会帮助您开始。
2. 运行最终作业的修改版本，该作业连接到控制流，但不从主流读取。一旦控制流被完全摄取，就获取一个保存点。然后从保存点重新启动，并启用主流。

对“侧边输入”的更好支持正在计划中，但仍是未来的工作。

更新：

从Flink 1.12开始，状态处理器应用编程接口为您提供了一个保存点连接器，该连接器可以与DataSet应用编程接口一起使用来读写保存点。因此，要实现上面的解决方案#1，您需要使用DataSet API编写一个批处理程序来创建(或修改)一个保存点，然后使用该保存点来引导您的DataStream程序的状态。