SQL数据库实时同步

Question

我正在尝试实现两个SQL数据库之间的实时(即时)数据同步3个源表到1个目标表，同步的数据来自源数据库中的3个不同的表，应该进入一个表。我已经研究了一些选项，并有这些缺点：

1- Azure数据同步: a- 5分钟的同步间隔b-表之间的同步是一对一的。

2- Azure Logic App: A- SQL连接器限制问题

有没有更好的方法来实现这一点？

Answer 1

我认为你可以考虑使用Azure数据工厂来逐步将本地数据同步到Azure SQL。这个post还详细介绍了如何实现整个过程。

使用Azure和Azure Data Factory进行增量加载有两种主要方式：

• 的一种方法是将同步的状态保存在元数据文件中。在这个文件中，您将保存表的行索引，从而保存您复制的最后一行的ID。每次您想要将最新数据添加到云中时，您都会查看进度(最新的行)并从那里开始(例如，行ID大于X)。此过程不在本文的讨论范围内，但在Microsoft文档中有详细的解释。(当您的表没有“更新的时间戳”时，请使用元数据文件。)

• 另一种方法是使用tumbling 。翻滚窗口是不重叠且完全包含的时间窗口。如下图所示，这意味着每个窗口都将从前一个窗口的末尾开始。