如何用串行序列代替并行制作Flink作业Dag

Question

我正在使用Table/SQL

工作运作：

1. 从Kafka读取并使用SQL查找，以丰富并重新插入SQL表。
2. 在对SQL表进行更新后，将相同的事件流到Kafka Sink.

。

但是MySQL的上插和卡夫卡的插入是并行的，但是我们想要一个像下面这样的串行顺序

我们想要的流程:查找KAFKA和SQL -> UPSERT SQL ->插入KAFKA

我们正在获得的流程:查找KAFKA和SQL -> UPSERT // INSERT KAFKA (并行)

Answer 1

这是不可能以直接的方式完成的。接收器是作业图中的终端节点。

但是，您可以使用异步i/o操作符来执行上插入，并安排它只在上插入完成后向kafka接收器下游发出事件。

或者，您可以有第二个作业，它从SQL中摄取CDC流并插入到kafka。