使用Dagster收集元数据

Question

所有人

我开始使用dagster大约有一个星期了，我对这个工具很着迷。但是，我想知道是否可以在输出中收集dagster生成的元数据。

常规dagster输出如下所示：

2021-06-17 15:12:30 - dagster - DEBUG - my_pipeline- 47989433-702c-4246-9c8d-ab4c8bab4be6 - 13936 - merge_transformations - LOADED_INPUT -使用输入管理器"clean_daag_df“加载的输入"io_manager"，来自步骤"clean_dzag”的输出"result“

..。

2021-06-17 15:12:30 - dagster - DEBUG - my_pipeline - 47989433-702c-4246-9c8d-ab4c8bab4be6 - 13936 - merge_transformations - STEP_SUCCESS -在98ms内完成步骤"merge_transformations“的执行。

我想知道如何访问这些信息，特别是每个实体的开始和结束时间，以及流水线运行id，如果可能的话，还有每个实体执行的id。(不只是在屏幕上看到输出，我希望将其导出到文件或数据库)。

提前感谢您的帮助。

Answer 1

Dagster实际上会自动为您存储这些日志(以结构化格式)。这可以通过在dagster.yaml文件中设置event_log_storage来配置(这样您就可以选择它使用的数据库类型)，但默认情况下，它们都存储在$DAGSTER_HOME目录下的本地Sqlite数据库中。文档在这里：https://docs.dagster.io/deployment/dagster-instance#event-log-storage解释了更多关于它是如何工作的。

我还建议查看Dagit，它与这些存储的事件日志一起工作，以帮助可视化过去售出的执行(以及许多其他用途！)。