Apache Airflow中的分布式日志记录

Question

我们正在使用Cloud Composer (GCP中的管理气流)来协调我们的任务。我们正在将所有日志移动到sumo logic (我们组织中的标准流程)。我们的要求是跟踪DAG的单个执行的整个日志，到目前为止似乎没有办法跟踪。

目前，DAG中的第一个任务会生成唯一的ID，并通过xcom传递给其他任务。这里的问题是我们无法在Airflow operators日志(如BigQueryOperator)中注入唯一ID。

是否有其他方法可以将自定义唯一ID注入到气流操作员日志中？

Answer 1

Composer运行日期，您可以通过“integrates with stackdriver logging：{your-dag-name}”和"execution-date:{your-dag-run-date}“来过滤每个dag日志，例如，

您可以使用以下过滤器进行read log entries：

resource.type="cloud_composer_environment"
resource.labels.location="your-location"
resource.labels.environment_name="your-environment-name"
logName="projects/cloud-airflow-dev/logs/airflow-worker"
labels."execution-date"="your-dag-run-date"
labels.workflow="your-dag-id"