迁移BigTable表中的PostgreSQL表

Question

我想搬出BigTable，因为这很昂贵。我有一个5GB的表，希望将它迁移到PostgreSQL数据库。到目前为止，我已经找到了在BigTable中迁移数据的方法，但没有从它中迁移出来，而且我也不想使用CloudSQL，因为这比继续使用BigTable花费更多。另一个想法是将表导出为一个文件，并使用Python脚本导入它。有什么想法吗？

Answer 1

有一些关于如何使用从Bigtable导出数据的文档，但是这些格式主要用于重新回到Bigtable中，所以我不认为它对您的情况太有帮助。我认为您可能需要编写一些自定义脚本来导出数据。只有5GB的数据，您可能不需要使用Dataflow，而且使用Python脚本可以让它变得更容易，即使它没有那么高效。

我建议您做一次完整的表格扫描并播放结果。您可以使用Python直接写入PostgreSQL数据库，也可以将其导出为某种中间格式，然后将其导入PostgreSQL。

rows = table.read_rows()
for row in rows:
    // Export to PostgreSQL or to a storage file

有关阅读“大表”的更多信息，请查看文档。如果您可以进行离线迁移(在迁移期间停止应用程序)，那么所有这些都应该可以工作，但是如果您需要进行在线迁移，则需要在迁移过程中跟踪数据库中的新添加内容。