如何动态序列化flink streaming中的参数

Question

我有一个在flink流中序列化的参数params，

class P extend Serializable {...}

val params = new P(...)
val env = StreamExecutionEnvironment.getExecutionEnvironment
env.addSource(new MySource(params))
   .map(new MyMap(params))
   .addSink(new MySink(params))
env.setParallelism(1)
env.execute("My Job")

但是驱动节点中的参数会发生变化，我需要在作业运行期间将params更新为executor。有没有可能基于flink流作业不停顿？

Answer 1

简而言之，答案是否定的。因为您的UDF将需要在每次新记录到来时反序列化参数，这将减慢执行速度。

但是，您可以通过扩展AbstractUdfStreamOperator并在transform operation中调用它来实现自己的流运算符。我在这里做了一个例子："Implementing my own stream operator in Flink to deal with data skew“。

然后决定何时读取新参数的运算符。例如，只需创建一个调度为每10分钟线程。参数文件必须放置在操作员将要运行的所有节点上。