将数据从bigquery转储到postgresql

Question

我在中有大约3GB的4-5表，我想将这些表导出到Postgres。阅读文档，我发现我必须做以下步骤。

1. 创建一个将数据提取到谷歌桶中的CSV的作业。
2. 从谷歌存储到本地存储。
3. 将所有CSV解析到数据库

因此，在上述步骤中，是否有任何有效的方法来完成所有这些。我知道第一步和第二步不能跳过没有效率的机会，但是在在线阅读的第三步中，我发现完成这个过程需要2-3个小时。

有人能给我建议一个有效的方法吗？

Answer 1

做一个例子项目，看看你能得到什么时间，如果你能接受这些时间，现在优化还为时过早。我看到所有这些是可能的，在大约3-5分钟，如果你有1Gbit互联网接入和服务器运行在SSD上。