在远程Apache (org.apache.beam.runners.core.construction.SerializablePipelineOptions)上运行Apache生成的jar文件

Question

我的问题是如何在远程Apache上运行Apache生成的jar文件。

我们正面临Java串行版本UID的问题。我们猜测Apache序列化文件的串行版本uid的配置与flink集群中的配置不匹配。

我们如何克服这个问题，我们尝试在flink服务器和本地机器(它生成jar)上使用相同的JDK实现。

用特定的序列化版本side重新编译Beam可能是一个解决方案，但我们不想使用这种方法，因为它可能会产生副作用。

你能不能用另一种解决办法来支持我们

谢谢。

在这里输入图像描述

在这里输入图像描述

在这里输入图像描述

Answer 1

我们已经收到了多个问题，围绕运行星火和Flink的事情。创建了一个逐步运行样本的指南。

在这些示例中，我们使用Flink 1.13.5 (与您的版本相同)

如果示例在集群上工作，但是当前的管道不工作，那么您使用的一个特定转换也可能导致问题，如果是这样的话，您可以提供一个示例管道来重现问题，这样我们就可以更仔细地查看问题。

请使用我们的邮件列表与我们联系。

干杯,

汉斯