-> Postgres数据迁移

Question

Microsoft SQL Server中有需要迁移到Postgres的数据。问题是Server得到持续更新，并且托管在本地网络上，而Postgres实例位于云中。

管理此ETL过程的最佳方法是什么？我目前的方法是只在我们需要的表上传输(大约30)，然后重新初始化物化视图。如果迁移工具能够完全自动化这个过程，我愿意为它付费，否则我将使用我们带宽所能支持的最简单的解决方案。

谢谢!

Answer 1

不需要商业产品。例如，您可以使用五旬节数据集成来完成任务。

回到主要问题，以下是您可以执行的步骤，以在不每次重新创建表的情况下提供数据：

1. 创建捕获数据更改机制(它作为表工作)，记录表上的更改(插入了哪个表并使用哪个记录(id)等)
2. 使用CDC机制中记录的更改更新目标数据。

这种过程在数据仓库中得到了广泛的实现，以迁移变更。

如果这对你来说似乎有点过分，那么一个较慢的解决方案可能会派上用场。这将是将目标中的快照与源中的当前数据进行比较，并根据差异采取适当的操作(插入、更新、删除目标中的行)。此方法将要求您在每次需要同步时扫描整个表。