我刚开始跟踪达格斯特教程。我设法使用dagit和Python运行了hello_cereal作业,但在尝试dagster CLI时出于某种原因。
dagster job execute -f hello_cereal.py我得到了一个DagsterUnmetExecutorRequirementsError
2021-10-22 15:33:22 - dagster - ERROR - hello_cereal_job - 272b37fb-9f39-44dc-b63a-dcd3dfbb7956 - 880 - RUN_FAILURE - Execution of run for "hello_cereal_job" failed. Pipeline failure during initialization for pipeline "hello_cereal_job". This may be due to a failure in initializing the executor or one of the loggers.
dagster.core.errors.DagsterUnmetExecutorRequirementsError: You have attempted to use an executor that uses multiple processes with an ephemeral DagsterInstance. A non-ephemeral instance is needed to coordinate execution between multiple processes. You can configure your default instance via $DAGSTER_HOME or ensure a valid one is passed when invoking the python APIs. You can learn more about setting up a persistent DagsterInstance from the DagsterInstance docs here: https://docs.dagster.io/deployment/dagster-instance#default-local-behavior实际上,我没有$DAGSTER_HOME集,但是由于它使用的是web和Python版本,所以我想知道我是否在其他地方犯了错误?
我正在学习macOS BigSur (11.6)、一个新的迷你安装程序(v4.10.3)、Python3.9.5和dagster 0.13.0。
发布于 2021-10-25 22:29:51
谢谢你的报告--这个问题在今天10/25发布的0.13.1版中得到了修正。该命令应该可以工作,而无需担心设置DAGSTER_HOME。
发布于 2021-10-25 00:59:26
我也有过同样的问题。我设置了DAGSTER_HOME,它解决了这个问题。来自Dagster文档(https://docs.dagster.io/deployment/dagster-instance)
如果没有设置DAGSTER_HOME,Dagster工具将使用一个临时实例来执行。在这种情况下,运行和事件日志存储将在内存中,而不是持久化到磁盘,而文件系统存储将使用一个临时目录,该目录将在进程退出时清除。这对于测试非常有用,在直接调用Python (如JobDefinition.execute_in_process )时也是默认的。
https://stackoverflow.com/questions/69677992
复制相似问题