如何基于状态下的气流数据过滤度量？

Question

我正在寻找一种方法，以过滤出其他达格通过StatsD发送的气流指标。气流中有这文件，说明如何设置statsD，负责气流中的公制收集。可以对度量前缀进行筛选，但这在技术上意味着它将将所有这些前缀发送到statsd，如果对所有dags进行筛选，这将带来很大的成本。

[metrics]
statsd_allow_list = scheduler,executor,dagrun

由于我正在使用datadog，因此通过最小化发送到datadog所需的度量来降低成本是非常重要的。

是否存在限制特定dag的度量标准？

Answer 1

我发现了这个问题的答案，不可能基于一个dag名称或特定的dag进行过滤。但是，我们可以在过滤器列表中包含完整的度量名称，包括dag名称。

例如，这里是度量名称：dag.example_dag.some_task.duration需要做的就是在airflow.cfg中添加这一点，如下所示：

[metrics]
statsd_allow_list = dag.example_dag.some_task.duration, <other filters>