对Luigi问题的理解

Question

看看ATask类

class ATask(luigi.Task):
    config = luigi.Parameter()

    def requires(self):
         # Some Tasks maybe

    def output(self):
        return luigi.LocalTarget("A.txt")

    def run(self):
        with open("A.txt", "w") as f:
            f.write("Complete")

现在看看BTask类

class BTask(luigi.Task):
    config = luigi.Parameter()

    def requires(self):
         return ATask(config = self.config)

    def output(self):
        return luigi.LocalTarget("B.txt")

    def run(self):
        with open("B.txt", "w") as f:
            f.write("Complete")

问题是，当TaskA运行并开始编写"A.txt“taskB时，taskA是否有可能在taskA完成写作之前启动？

第二，如果我开始执行

luigi.build([BTask(config=some_config)], local_scheduler=True )

如果这个pipilene在里面失败了，我能不知怎么地知道它的外部，比如luigi.build或smth的返回值吗？

Answer 1

1. 不，在TaskB完成之前，luigi不会开始执行TaskA (也就是说，直到它完成目标文件的编写)
2. 如果您希望在发生错误时获得luigi.build的详细响应，则必须传递一个额外的关键字参数：detailed_summary=True以构建/运行方法，然后访问summary_text，方法如下：

     luigi_run_result = luigi.build(..., detailed_summary=True)
     print(luigi_run_result.summary_text)

有关这方面的详细信息，请参阅Luigi文档中的luigi.build()/luigi.run()的响应。

此外，您可能对有关如何访问错误/异常的这个答案感兴趣：https://stackoverflow.com/a/33396642/3219121