Airflow dag依赖关系

Question

我有一个运行大约一周的airflow dag-1和一个每天运行几个小时的dag-2。当dag-1正在运行时，由于API限制速率，我不能让dag-2运行(另外，dag-2应该在dag-1完成后运行)。假设dag-1已经在运行，而应该每天运行的dag-2出现故障，我是否可以以正确的方式安排dag依赖关系？是否可以在dag-2应该启动时暂时停止dag-1 (在运行时)，然后在不手动中断的情况下再次运行dag-1？

Answer 1

最好的方法之一是使用定义的池。

假设您有一个名为"specefic_pool“的池，并且只为它分配了一个插槽。

在dag bash命令中指定池名称(而不是默认池，请使用新创建池)，这样您可能会在并行运行两个dags时遇到问题。

这有助于在Dag1运行时，在池空闲之前永远不会触发Dag2，或者如果dag2在dag2完成之前选择了池，则不会触发dag1。