缓存Dagster的流水线结果

Question

有没有办法在流水线中缓存实体的输出，如果我运行相同的流水线，但配置略有不同(想一想超参数调整)，流水线中不受配置更改影响的某些初始步骤将不会多次执行？

Raw data -> CPU expensive preprocessing (A) -> model fitting (B) -> model

我希望能够运行A一次，但是B有多个变体。

在Dagster中有没有一种优雅的方法来实现这一点？

Answer 1

我不知道这个功能已经存在了。

当存储被设置为文件系统时，Dagster可以重新运行实体，但还没有看到任何像你所描述的那样的缓存。我可以提交一个issue to Dagster，如果这里没有太多的牵引力，然后返回报告

几种可能的解决方法

1. 也许你的一个选择是物化数据，并将逻辑添加到你的实体中，以检查该数据是否存在于某个位置。如果是，则返回该数据，如果不是，则重新处理。此模式将确保仅持久保存所需文件的负担放在您身上。
2. 我想你可以在每次实验后拼凑出新的管道--只由需要再次运行的实体组成，并引入从文件中读取数据并为其他实体输出数据的新实体。我想，读入数据的实体可能只是一个可重复使用的、有锯齿的实体。