在Apache flink中的节点之间共享数据集的最佳方式是什么？

Question

iI正在使用Apache Flink处理数据流，我需要在处理输入数据的所有节点之间共享一个索引。节点频繁地更新索引。

我想知道，从效率的角度来看，通过广播变量共享数据集是一种好的做法吗？

广播变量是否会在每次更新后在所有节点中更新？

Apache Flink是否仅针对最近的更改智能地更新广播变量？

Answer 1

我认为解决方案在于使用基于Flink的托管状态描述符的有状态函数。如果状态不可分区，请将运算符的并行度设置为1。