Airflow - time_partitioning operator

Question

我使用的是GoogleCloudStorageToBigQueryOperator。我想将CSV文件中的数据从GCS加载到BQ，并将时间分区设置为‘hour’。我已经使用了参数：

 time_partitioning = [‘hr’]

但是，数据是在Day level分区上加载的。谁能指出‘time_partitioning’需要的参数？我希望被摄取的分区处于小时级别。

Answer 1

timePartitioning实际上是一个字典对象，而不是一个列表。

:param time_partitioning: configure optional time partitioning fields i.e.
    partition by field, type and  expiration as per API specifications.
    .. seealso::
        https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#timePartitioning
:type time_partitioning: dict

您可以参考上面的云链接来设置time_partitioning字段和类型(小时/天)。

GoogleCloudStorageToBigQueryOperator类已弃用，因此您可以开始使用GCSToBigQueryOperator运算符。

Answer 2

使用GCSToBigQueryOperator并传递参数，如下所示，已解决此问题：

time_partitioning ={‘类型’：‘小时’}

有关GoogleCloudStorageToBigQueryOperator被废弃并被GCSToBigQueryOperator取代的详细信息，可以在here中找到