从谷歌BigQuery到谷歌云存储的定时导出

Question

我是Google Cloud的新手，我想知道如何安排查询并将其导出到Google Cloud Storage的最佳用例。我看过关于如何手动导出数据的文档，但找不到任何关于如何以自动方式进行导出的具体内容。有什么最好的方法来解决这个问题吗？

谢谢

Answer 1

1. 使用Node.js、python或Go实现您的表导出函数[1]。这些语言由云函数和云函数调度程序服务中的上述函数支持，云函数调度程序服务是一种事件驱动的无服务器计算，使用云调度器[2] [3]使用您选择的调度间隔来执行上述函数。可以使用cron表达式指定调度间隔。调度器将通过函数的endpoint.
2. Verify上的REST调用来触发函数，方法是访问您的存储桶并确保表已成功导出。

Answer 2

可以使用scheduled queries功能和EXPORT DATA语句创建计划的导出作业。例如，下面的脚本每天将数据备份到GCS，并将其作为具有SNAPPY压缩的Parquet文件。每次执行作业时，它都会获取前一天的所有数据。

DECLARE backup_date DATE DEFAULT DATE_SUB(@run_date, INTERVAL 1 day);

EXPORT DATA
  OPTIONS ( uri = CONCAT('gs://my-bucket/', CAST(backup_date AS STRING), '/*.parquet'),
    format='PARQUET',
    compression='SNAPPY',
    overwrite=FALSE ) AS
SELECT
  *
FROM
  `my-project.my-dataset.my-table`
WHERE
  DATE(timestamp) = backup_date

然后，您可以从BiqQuery UI创建计划查询，并设置触发频率和触发时间。

​

​