同时运行不同参数的luigi管道

Question

也许这是一个有点愚蠢的问题。我使用luigi和python编写了一个数据管道，它获取一些文件，对其进行清理，然后运行蒙特卡洛马尔可夫链模型。我需要多次运行这个模型(使用不同参数的25个模拟)。在我的笔记本电脑上运行一次模拟大约需要3-5个小时。有没有一种方法可以同时运行多个模拟(我假设这受硬件限制)，或者安排在第一个模拟完成后运行模拟这样做的问题是输出文件将具有相同的名称，我假设这意味着在删除这些输出文件之前，第一个模拟之后的每个模拟运行都将标记为完成

Answer 1

你当然可以。您只需要有一个如下所述的根调度任务：https://luigi.readthedocs.io/en/stable/luigi_patterns.html#triggering-many-tasks

基本上，您只需创建一个根任务，该任务具有25组不同的参数，并需要您的工作流使用这些参数。

编辑:如果您需要先运行一个任务，然后再运行另一个任务，只需在run方法中使用yield Task(params) (而不是requires方法！)。