首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何创建luigi依赖关系图,但不运行任何操作?

问如何创建luigi依赖关系图,但不运行任何操作?
EN

Stack Overflow用户
提问于 2018-02-05 23:56:21
回答 1查看 1.4K关注 0票数 5

用例:有些任务是长批作业,需要花费数小时,在决定先重新运行哪个日期之前,需要检查已完成的任务和给定日期失败的任务。

如何查看中央调度程序生成的依赖关系图,而不运行任何操作?我确实意识到,我可以简单地为给定的日期重新运行该图,并且(假设没有任何变化)它将在与上次运行完全相同的地方失败,并且我将能够在调度程序中看到该图。假设一项任务需要很长时间才能失败。有类似于--dry-run论点的东西吗?

我还可以创建一个空的“切换开关”任务,该任务将根据输入参数失败或完成。然而,我需要记住让每一项任务都依赖于它--很容易被忽略(可以通过子类来解决),但也会造成混乱。

有什么更好的选择吗?

编辑:

在调用--workers=0时,我似乎可以通过设置luigi来获得所需的东西。这将产生以下信息:

代码语言:javascript
复制
Did not run any tasks
This progress looks :| because there were tasks that were not granted run permission by the scheduler

什么都没查到,我拿到了我的图表。似乎是一个有用的黑客文件在这里。

EN

回答 1

Stack Overflow用户

发布于 2018-02-08 18:54:49

与--workers=0一起运行可用于正常依赖关系图。但是,如果使用动态依赖项,则这些图节点将被忽略(动态依赖关系是在Tasks中生成的run()。

未来的替代方案是用于静态DAG可视化器的WIP PR。但是,考虑到执行run()的必要性,我怀疑动态依赖关系仍然会被忽略。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/48633429

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档