如何指定在何处物化达格斯特资产？

Question

我刚认识达格斯特。

目前，当我将资产物化时，它们最终出现在/my-dagster-project/tmpav872908/storage/{assetkey}中

如何指定应将批处理存储在何处？

Answer 1

默认的IO管理器fs_io_manager存储和检索本地文件系统中的泡菜文件的值。请参阅文档的这一节。。

您可以通过向@存储库fs_io_manager添加"io_manager": fs_io_manager.configured({"base_dir": "/my/base/path"})来覆盖resource_defs的默认存储位置。您将在达格斯特医生来了中找到有关这方面的更多细节。

如果您希望构建数据管道并将其保存到不同的位置(例如，雪花、S3、DuckDB等)然后继续探索I/O经理--他们是Dagster平台的一个非常强大的特性。