如何在dagster中并行运行任务？

Question

为了执行测试，我正在使用dagster进入本地node.js微服务管道。

ide是执行n docker_files和n node.js微服务，就像您可以使用dagster那样轻松地执行。

问题是，当我执行第一个第二个任务--一个shell命令来执行一个码头容器--时，dagsteer保持在这一点上，而不是在同一级别上执行所有任务。

当前进程日志如下所示

login aws
    |
    |
    |
    v
[docker_elastic, docker_kafka, sleep_10]
                                  |
                                  |
                                  |
                                  v
[node_service_one, node_service_two, node_service__three]

我可以同时执行所有docker_elastic和所有node_services吗？

是否有另一个易于配置的选项可以轻松构建本地dags？

谢谢

Answer 1

如果您正在使用新的作业/op API，那么Dagster默认将使用一个多进程执行器，它将能够并行运行多个任务。

如果您使用的是管道/实心API，那么您可以传入运行配置，告诉Dagster使用多进程执行器，而不是默认的单个进程执行器。如果您要从Dagit启动管道，则需要传入运行配置，如下所示：

execution:
    multiprocess: {}

如果您从python启动这些运行，那么运行配置将是：

run_config={"execution": {"multiprocess": {}}}

请注意，您需要使用与多进程兼容的IOManager，例如fs_io_manager (from dagster import fs_io_manager)。

有关多进程执行的完整文档如下：https://docs.dagster.io/0.12.14/concepts/solids-pipelines/pipeline-execution#multiprocessing-execution