Google Cloud数据流+批处理

Question

我正在构建一个基础架构，在这个基础架构中，我希望分别接收热数据和冷数据。对于热数据，我将我的数据写入Cloud Spanner，而对于冷数据，我希望将我的数据写入更持久的东西，如BigQuery。

我正在使用来自流媒体服务的数据，但我想利用BigQuery的缓存机制-如果我经常将冷数据流式传输到BigQuery中，这将是不可能的。我的问题是，我是否可以将流管道分支到批处理管道中，并将流管道连接到扳手，将批处理管道连接到BigQuery。

我可以设想使用cron作业将冷数据写入云存储并将数据读取到BigQuery中，但是有没有更好的/本机方法来实现Stream+Batch拆分？

Answer 1

虽然Dataflow确实有批处理和流执行模式，但您可以使用流模式在批处理模式下执行任何操作(成本和可伸缩性可能会有所不同)。因为你的输入是一个流，也就是一个无界的数据源，你的管道将会自动在流模式下运行。

听起来，写入BigQuery的FILE_LOADS方法可能就是您想要的，并且您可以使用withTriggeringFrequency来管理写入数据的频率。