以Parquet格式将GCS导出到GCS

Question

我有GCP中的数据，我想以Parquet格式将这些数据导出到GCS中，我发现这是不可能的，只有我可以用SQL和CSV格式来导出数据。

Answer 1

我建议你通过BigQuery来实现这一点。

1. 连接带有联邦查询的BigQuery到实例特征
2. 使用数据在BigQuery中创建一个新表

CREATE TABLE my_dataset.temp_table AS
SELECT * FROM EXTERNAL_QUERY("project_id.region.connection_name", "SELECT * FROM .....;");

1. 使用BigQuery导出表特性与地板选项(这是在预览阶段)

bq --location=region extract \
--destination_format parquet \
project_id:my_dataset.temp_table \
gs://bucket/filename.parquet

1. 删除BigQuery中的临时表

这样可以保证您只使用一个文件(或少量的切分文件)。

但是，您可以加快进程，但此解决方案可以生成更多的文件。

1. 用联邦表特性将BigQuery连接到实例
2. 仅在一个查询中使用将数据导出到GCS

EXPORT DATA OPTIONS(
  uri='gs://bucket/filename.parquet*',
  format='PARQUET') AS
SELECT * FROM EXTERNAL_QUERY("project_id.region.connection_name", "SELECT * FROM .....;");

语句