BigQuery到GCS

Question

我希望能够将Bigquery结果作为json文件存储在中。我找不到这样做的方法，所以我要做的是

1. 对Bigquery运行查询并将结果存储在永久表中。我用一个随机的guid来命名永久表。
2. 从bigquery读取数据，在我的服务器端代码中将其转换为json，并将json数据上传到GCS。
3. 删除永久表。
4. 将GCS中的json文件url返回到前端应用程序。

虽然这是可行的，但也有一些问题。

答:我不认为我是通过使用自己的永久表来使用BigQuery的缓存的。有人能确认一下吗？步骤2将成为性能瓶颈。要从GCP中提取数据以完成JSON转换，将其重新上传到GCP中，感觉是错误的。更好的方法是使用一些云本机无服务器函数或其他GCP数据工作流类型服务来执行在数据集中创建新表时触发的这个步骤。你认为实现这一步的最佳方法是什么？如果不使用永久表，真的没有办法做到这一点吗？

任何帮助都很感激。谢谢。

Answer 1

使用持久表，您可以利用Bigquery数据导出将JSON格式的表导出到GCS。与从服务器端读取表相比，它是免费的。

现在，确实有一种避免创建永久表的方法。因为每个查询结果实际上已经是一个临时表了。如果您转到“职务信息”，您可以找到临时表的全名，它可以用于数据导出，作为JSON导出到GCS。但是，这要比创建一个持久的表然后删除它要复杂得多。