远距离气流达格

Question

我计划在云存储上部署气流达格，并提供与GCS的连接，并从运行在实例上的气流中访问这些dags。

从文档中可以清楚地看到，远程日志记录是可能的。

我希望在GCS上保持气流的一部分(日志和Dags)，因为我必须管理这些文件，，以避免修改VM上一旦部署了的文件。

此外，随着日志的增加，它开始占用云VM磁盘上的大量空间。

是否有可能在GCS上存储达格。如果是的话，我怎样才能做到这一点。

提前谢谢。

Answer 1

我迟到了，但您可以将一个桶作为文件系统安装到VM (或任何Linux系统)。

与实际的文件系统相比，这在我的经验中可能有些慢，但是如果我正确地理解了您，这应该适用于您。

有关这项工作的详细信息可以在文档中找到。

Answer 2

Google平台似乎与气流广泛地集成在一起，用于数据处理和存储。

有一篇官方的Google博客文档文章解释了如何将气流与BigQuery连接起来。此外，在正式气流文件中还有一个关于Google平台集成的附加部分，可以解释完整集成的其他细节。

总之，BigQuery似乎是一个合适的产品--它是一个专门的Google，它管理大量的数据库，并使它们易于使用外部工具和其他google产品(如VM)操作和操作。

Answer 3

实现在GCS中保存DAG的一种方法是将它们作为JSON存储在桶中。这样，就可以避免将文件存储在VM中。

演示如何做到这一点的一个例子是在下面的另一个Stackoverflow 帖子中。