用例:有些任务是长批作业,需要花费数小时,在决定先重新运行哪个日期之前,需要检查已完成的任务和给定日期失败的任务。
如何查看中央调度程序生成的依赖关系图,而不运行任何操作?我确实意识到,我可以简单地为给定的日期重新运行该图,并且(假设没有任何变化)它将在与上次运行完全相同的地方失败,并且我将能够在调度程序中看到该图。假设一项任务需要很长时间才能失败。有类似于--dry-run论点的东西吗?
我还可以创建一个空的“切换开关”任务,该任务将根据输入参数失败或完成。然而,我需要记住让每一项任务都依赖于它--很容易被忽略(可以通过子类来解决),但也会造成混乱。
有什么更好的选择吗?
编辑:
在调用--workers=0时,我似乎可以通过设置luigi来获得所需的东西。这将产生以下信息:
Did not run any tasks
This progress looks :| because there were tasks that were not granted run permission by the scheduler什么都没查到,我拿到了我的图表。似乎是一个有用的黑客文件在这里。
发布于 2018-02-08 18:54:49
与--workers=0一起运行可用于正常依赖关系图。但是,如果使用动态依赖项,则这些图节点将被忽略(动态依赖关系是在Tasks中生成的run()。
未来的替代方案是用于静态DAG可视化器的WIP PR。但是,考虑到执行run()的必要性,我怀疑动态依赖关系仍然会被忽略。
https://stackoverflow.com/questions/48633429
复制相似问题