Flink SQL作业堆空间不足

Question

我正在运行一个查询来连接一个流和一个表，如下所示。它正在耗尽堆空间。即使它在flink集群中有足够的堆空间(60 it * 3)

此查询是否需要驱逐策略？

SELECT sourceKafka.* FROM sourceKafka INNER JOIN DefaulterTable ON sourceKafka.CC=DefaulterTable.CC;

Answer 1

如果您想要与流连接的表是静态的，那么您可以实现自己的连接，这样行为会好得多。

要做到这一点，一种方法是使用状态处理器API创建一个保存点，该保存点的静态表处于Flink状态，然后将连接实现为KeyedProcessFunction。

如果您需要定期更新“静态”表，那么应该可以使用KeyedCoProcessFunction，并在不定期的更新中使用流。