如何在AWS Glue to BigQuery连接器中指定项目ID？

Question

我正在尝试按照https://aws.amazon.com/blogs/big-data/migrating-data-from-google-bigquery-to-amazon-s3-using-aws-glue-custom-connectors/中的教程使用AWS Glue连接器连接到BigQuery，但在执行完所有步骤后，我得到了一个：

: java.lang.IllegalArgumentException: A project ID is required for this service but could not be determined from the builder or the environment.  Please set a project ID using the builder.

Python异常显示：

Traceback (most recent call last):
  File "/tmp/ETHBlockchainExport.py", line 20, in <module>
    DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type = "marketplace.spark", connection_options = 
{
    "parentProject": "MYGOOGLE_PROJECT_ID",
    "connectionName": "BigQuery",
    "table": "MYPROJECT.DATASET.TABLE"
}

因此，一切似乎都提供了，但仍然抱怨项目Id。如何将该信息提供给连接器？

Answer 1

在创建粘合作业时，您可以在数据源connector option中指定为键-值对。

从您的日志中可以看出，您在表字段中也包含了project id，应该是dataset.table

还有一种可能是，您没有在环境变量中指定项目ID和表值等的值(根据显示的错误，这似乎更有可能)

示例

​

Reference