如何从容器内部获取使用DockerOperator执行的日志？(Airflow)

Question

我正面临着DockerOperator的日志问题。

我正在使用DockerOperator在docker容器中运行python脚本，我需要airflow从容器中运行的python脚本中输出日志。Airlfow将作业标记为成功，但容器内的脚本失败，我不知道发生了什么，因为我无法正确地看到日志。除了按照docs中的建议将tty选项设置为True之外，是否还有其他方法可以为DockerOpertor设置日志记录

Answer 1

看起来你可以将日志推送到XComs，但默认情况下它是关闭的。首先，您需要为它传递xcom_push=True，以便至少开始向XCom发送输出的最后一行。然后，您可以传递xcom_all=True将所有输出发送到XCom，而不仅仅是第一行。

可能不是放置调试信息的最方便的地方，但是在UI中可以很好地访问它，至少可以在单击任务时的XCom选项卡中访问，或者有一个页面可以列出和过滤XComs (在Browse下)。

来源：https://github.com/apache/airflow/blob/1.10.10/airflow/operators/docker_operator.py#L112-L117和https://github.com/apache/airflow/blob/1.10.10/airflow/operators/docker_operator.py#L248-L250