气流任务在没有日志的情况下处于重试状态。

Question

嗨，我目前正在Dataproc集群上运行气流。我的DAGs过去运行良好，但面对这个问题，当我单击气流用户界面上的任务实例->日志时，任务将在没有任何日志的情况下进入“重试”状态。

在启动气流see服务器的终端中，我看到了以下错误

2022-06-24 07:30:36.544 [ERROR] Executor reports task instance 
<TaskInstance: **task name** 2022-06-23 07:00:00+00:00 [queued]> finished (failed) 
although the task says its queued. Was the task killed externally? 
None
[2022-06-23 06:08:33,202] {models.py:1758} INFO - Marking task as UP_FOR_RETRY
2022-06-23 06:08:33.202 [INFO] Marking task as UP_FOR_RETRY

到目前为止我尝试过的

webserver

• Started

• 从3个不同的端口重新启动

• 重新运行的回填命令，并为我的守护进程运行3个不同的timestamps

• deleted dag，创建一个新的dag运行，然后按照这里提到的How do I restart airflow webserver?重新运行回填command

• cleared，并重新启动webserver

。

这些都不管用。这个问题在过去两天一直存在，非常感谢任何帮助here.At --我猜想这与共享DB有关，但不确定如何解决这个问题。

<<更新>>，所以我还发现这些任务最终会进入成功或失败状态。当发生这种情况时，日志是可用的，但在$airflow_home或我们的远程目录中仍然没有重试日志。

Answer 1

问题是，还有一个芹菜工人在听同一个队列。由于第二个工作人员没有正确配置，所以它失败了，并且没有将日志写入远程位置。