首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >AIRFLOW_SCHEDULER_RUN_DURATION设置和调度程序在关闭时不会重新启动

AIRFLOW_SCHEDULER_RUN_DURATION设置和调度程序在关闭时不会重新启动
EN

Stack Overflow用户
提问于 2021-09-12 07:43:49
回答 2查看 287关注 0票数 0

我正在经历调度程序突然下降,没有一个模式。

我使用‘`docker’在AWS ECS中运行AWS ECS

我知道这是报告的气流文档中的问题

我们设置了AIRFLOW__SCHEDULER__RUN_DURATION = 3600,强制调度程序每小时重新启动一次,这样调度程序就会突然关闭。

但尽管如此,我们看到最后一次心跳是在9小时前。为什么会发生这种情况?这里的问题不是气流调度器关闭了,但是强制重启的ENV变量没有工作。

可以避免气流调度程序重新启动吗?我们应该使用airflow.cfg而不是env variable吗?

编辑在这里粘贴变量名是错误的,但是我有正确的名称。

代码语言:javascript
复制
AIRFLOW__SCHEDULER__RUN_DURATION

我在docker container中打印var值

代码语言:javascript
复制
echo $AIRFLOW__SCHEDULER__RUN_DURATION

It returns 3600
EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2021-09-12 12:44:50

啊-既然你在2.1.2 - run_duration参数已经从气流2中删除了:

你在这里找不到它:

https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html

我认为最好的方法是找出你为什么会有调度程序失败--它不会随机失败,我想你可以深入挖掘调度器的日志文件,找出原因?

票数 1
EN

Stack Overflow用户

发布于 2021-09-12 08:39:19

我认为您的变量名是错误的:

AIRFLOW__SCHEDULER__RUN_DURATION是继气流和调度器之后的正确的单注双_

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/69149434

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档