triggering_frequency只能与写入BigQuery的FILE_LOADS方法一起使用

Question

无法为数据流作业设置triggering_frequency。

transformed | 'Write' >> beam.io.WriteToBigQuery(
          known_args.target_table,
          schema=schema,
          create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
          write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND,
          method=bigquery.WriteToBigQuery.Method.FILE_LOADS,
          triggering_frequency=5
          )

Error: triggering_frequency can only be used with FILE_LOADS method of writing to BigQuery

Answer 1

这是一个bug。WriteToBigQuery转换有两个实现--支持流中的文件加载的实现是相当新的，因此它被屏蔽在实验后面。

所以:要激活它，请将use_beam_bq_sink作为实验传递，如下所示：--experiments use_beam_bq_sink。

Answer 2

然而，大约9个月后，我们仍然看到这个问题。修复方法仍然是使用experiments=use_beam_bq_sink (因为它现在看起来在我们这端不起作用)..