首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Airlow日志不可见

问Airlow日志不可见
EN

Stack Overflow用户
提问于 2021-03-03 19:14:17
回答 1查看 108关注 0票数 0

我已经在AWS ECS上部署了airflow集群。Airflow Webserver、Scheduler和worker在同一主机上的不同容器下运行。

当我尝试使用Airflow When服务器获取日志时,我得到以下错误:

代码语言:javascript
复制
*** Log file does not exist: /usr/local/airflow/logs/master_populate_uc_crf_ap/populate_ss_ui_schema__country/2021-03-03T09:54:53.271590+00:00/1.log
*** Fetching from: http://ip-10-180-98-37.eu-west-1.compute.internal:8793/log/master_populate/populate_schema/2021-03-03T09:54:53.271590+00:00/1.log
*** Failed to fetch log file from worker. HTTPConnectionPool(host='ip-10-180-98-37.eu-west-1.compute.internal', port=8793): Max retries exceeded with url: /log/master_populate/populate_schema/2021-03-03T09:54:53.271590+00:00/1.log (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f52eae32e10>: Failed to establish a new connection: [Errno -2] Name or service not known'))

如果我登录到运行所有三个容器(Webserver、scheduler和worker)的ec2,则可以成功运行以下命令:

代码语言:javascript
复制
curl http://ip-10-180-98-37.eu-west-1.compute.internal:8793/log/master_populate/populate_schema/2021-03-03T09:54:53.271590+00:00/1.log

它确认日志正在生成,但Webserver无法从worker访问日志。

如果我登录到Webserver docker容器并运行相同的curl命令,则会发生以下错误:

代码语言:javascript
复制
curl: (6) Could not resolve host: ip-10-180-98-37.eu-west-1.compute.internal

如果我将hostname(ip-10-180-98-37.eu-west-1.compute.internal)替换为本地主机,那么curl将在Webserver容器下成功运行。以下是airflow配置变量的值:

代码语言:javascript
复制
AIRFLOW__CORE__HOSTNAME_CALLABLE: socket:getfqdn
executor = SequentialExecutor

网络模式为主机。敬请协助。

EN

回答 1

Stack Overflow用户

发布于 2021-03-08 19:13:42

这是因为您的容器无法访问日志文件。这应该与您的网络或安全组配置有关。我建议在您的ECS设置中检查这两个配置。

干杯:)

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/66455897

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档