移除气流排程日志

Question

我正在使用Docker气流版本1.9.0-2 (https://github.com/puckel/docker-airflow).

调度程序生成大量日志，文件系统将很快耗尽空间，因此我试图以编程方式删除由空气流创建的调度程序日志，该日志位于(/usr/local/ airflow /log/调度器)中的调度器容器中。

我已经设置了所有这些维护任务：https://github.com/teamclairvoyant/airflow-maintenance-dags

但是，这些任务只删除工作人员的日志，并且调度程序日志位于调度器容器中。

我还设置了远程日志记录，将日志发送到S3，但正如本文中提到的，因此post 移除气流任务日志设置不会阻止气流写入本地机器。

此外，我还尝试在worker和调度程序之间创建一个共享的命名卷，如这里所概述的Docker在多个容器之间组合共享命名卷。但是，我在worker中得到了以下错误：

ValueError: Unable to configure handler 'file.processor': [Errno 13] Permission denied: '/usr/local/airflow/logs/scheduler'

以及调度程序中的下列错误：

ValueError: Unable to configure handler 'file.processor': [Errno 13] Permission denied: '/usr/local/airflow/logs/scheduler/2018-04-11'

等等，人们如何删除调度程序日志？？

Answer 1

受这回复的启发，我从这里中添加了airflow-log-cleanup.py DAG (对其参数进行了一些更改)，以删除所有的旧气流日志，包括调度程序日志。

除了考虑到我的EC2磁盘大小(/dev/xvda1为7.7g)之外，我的更改很小，DEFAULT_MAX_LOG_AGE_IN_DAYS的30天默认值似乎太大了，所以(我有4个DAG)我将它更改为14天，但是可以根据您的环境调整它：

DEFAULT_MAX_LOG_AGE_IN_DAYS = Variable.get("max_log_age_in_days", 30)改为DEFAULT_MAX_LOG_AGE_IN_DAYS = Variable.get("max_log_age_in_days", 14)

Answer 2

以下是解决这一问题的一种选择。

使用以下机制登录到码头容器

#>docker exec -it <name-or-id-of-container> sh

在运行上述命令时，请确保-容器正在运行。

然后使用cron作业对这些日志文件配置调度的rm命令。

Answer 3

这个答案是“移除气流任务日志”也适用于气流1.10中的用例。

基本上，您需要实现一个自定义日志处理程序，并配置气流日志记录以使用该处理程序而不是默认处理程序(参见UPDATING.md、not README或docs！)

注意:由于日志记录、多处理和气流默认处理程序的交互方式，重写处理程序方法比通过在派生处理程序类中调用super()来扩展它们更安全。因为气流默认处理程序不使用锁