致命标志解析错误:未知命令行标志“hive_partitioning_source_uri_prefix”

Question

我正在使用bash操作符从composer运行bigquery命令，将数据从hive加载到bigquery，如下所示。

bq --location=US load --replace --source_format=PARQUET --autodetect --hive_partitioning_mode=CUSTOM --hive_partitioning_source_uri_prefix=gs://XXX xxx gs://xxx*

但它的错误是说FATAL Flags parsing error: Unknown command line flag 'hive_partitioning_source_uri_prefix'

如果我向上面的bash命令添加安装命令，它就可以工作了。

我认为Google是预装在composer中的。我正在使用composer-1.7.2-airflow-1.10.2

想知道如果我不将google安装到上面的bash命令中，它为什么不能工作？

Answer 1

根据GCP Composer发布说明文档，Google SDK工具正在不断更新，并在Composer-Airflow增长路径中添加了一些新特性。

因此，您可能会因为composer-1.7.2-airflow-1.10.2中提供的旧SDK组件而面临这个问题，特别是在此环境中不支持HivePartitioningOptions影响气流https://airflow.apache.org/docs/stable/_api/airflow/operators/bash_operator/index.html#module-airflow.operators.bash_operator的bq util。