数据流批处理或流插入到BigQuery澄清

Question

考虑到流插入到BigQuery涉及到的成本，从BigQuery的角度来看，使用Dataflow从有界集合(或批处理模式)读取是否会产生成本？我相信只有当从无界集合(在流模式下)读取并写入BigQuery时，才被认为是对BigQuery的流插入。

Answer 1

您是正确的，因为在源中指定：

如果输入是有界的，那么将使用文件加载。如果输入是无界的，则将使用流插入。

可以通过在.setMethod(Write.Method.FILE_LOADS)构建器对象上使用.setMethod(Write.Method.STREAMING_INSERTS)或BigQueryIO重写默认行为。