Flink python作业执行失败

Question

我有一个设置了3个节点的flink集群。在web界面中，我看到3个任务管理器、3个任务槽和3个可用任务槽。

我正在尝试运行一个简单的字数统计，它非常确定地失败了三次中的两次。我假设它每次不在主服务器上运行时都会失败。

下面是我的flink-conf.yaml和word_count.py文件。

我得到的例外是：

Caused by: java.lang.RuntimeException: Plan file caused an error. Check log-files for details.python: can't open file '/data/tmp/flink/flink-dist-cache-9fc4a122-1f21-4930-a998-db31129b4596/a68369119ce030c8ca4a0b98aeb39387/flink_dc/plan.py': [Errno 2] No such file or directory

(使用堆栈跟踪的完整执行是here。)

我检查了所有的文件夹，它们都有rwx权限。

有谁知道我做错了什么吗？

Answer 1

您必须将python.dc.tmp.dir参数设置为指向所有节点(如hdfs)都可以访问的某个文件系统位置。

您可以在以下位置找到Python API的所有配置选项：https://github.com/apache/flink/blob/master/flink-libraries/flink-python/src/main/java/org/apache/flink/python/api/PythonOptions.java