我正在经历调度程序突然下降,没有一个模式。
我使用‘`docker’在AWS ECS中运行AWS ECS。
我知道这是报告的气流文档中的问题
我们设置了AIRFLOW__SCHEDULER__RUN_DURATION = 3600,强制调度程序每小时重新启动一次,这样调度程序就会突然关闭。
但尽管如此,我们看到最后一次心跳是在9小时前。为什么会发生这种情况?这里的问题不是气流调度器关闭了,但是强制重启的ENV变量没有工作。
可以避免气流调度程序重新启动吗?我们应该使用airflow.cfg而不是env variable吗?
编辑在这里粘贴变量名是错误的,但是我有正确的名称。
AIRFLOW__SCHEDULER__RUN_DURATION我在docker container中打印var值
echo $AIRFLOW__SCHEDULER__RUN_DURATION
It returns 3600发布于 2021-09-12 12:44:50
啊-既然你在2.1.2 - run_duration参数已经从气流2中删除了:
你在这里找不到它:
https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html
我认为最好的方法是找出你为什么会有调度程序失败--它不会随机失败,我想你可以深入挖掘调度器的日志文件,找出原因?
发布于 2021-09-12 08:39:19
我认为您的变量名是错误的:
AIRFLOW__SCHEDULER__RUN_DURATION是继气流和调度器之后的正确的单注双_。
https://stackoverflow.com/questions/69149434
复制相似问题