如何处理FLINK中的超大窗口？

Question

现在我有一个要求，汇总某人在过去3个月的操作。然后将结果放入ML模型中，得到异常。

考虑到系统的巨大流量，这是一个非常大的窗口。

我该如何处理这种情况？

Answer 1

我将基于以下假设回答您的问题:数据是以流的方式到来的，您需要在该流的顶部创建一个窗口，因为您的问题中没有明确的详细信息。

话虽如此，您可以使用RocksDB状态后端创建如此巨大的窗口，因为该窗口不会存储在内存中，并且您的窗口大小限制将仅取决于硬件的硬盘大小。

Answer 2

你可以对Flink使用批处理，因为你有一个数据集，然而，flink是一个真正的流引擎，这意味着批处理被认为是流的特例。另一种选择是使用Hadoop进行这种批处理。