SIGTERM气流

Question

当我触发下面的DAG时，我会得到一个"SIGTERM“错误。我手动做了20多次，每次SIGTERM错误出现在不同的时间点。有什么建议可以让它发挥作用吗？

错误：

{local_task_job.py:211} WARNING - State of this instance has been externally set to queued. Terminating instance.
{taskinstance.py:1411} ERROR - Received SIGTERM. Terminating subprocesses.
{taskinstance.py:1703} ERROR - Task failed with exception

dag:

dag = DAG(
    dag_id="im_master",
    default_args=default_args,
    schedule_interval="0 1 * * *",
    tags=['DS'],
    catchup=False
)

Answer 1

当运行任务的机器内存不足时，会发生此问题。这与气流配置无关，而与您的机器大小有关。

增加内存取决于您如何部署气流应用程序。例如，如果您使用的是CeleryExecutor，那么您应该增加工作人员的内存。