MYSQL变更数据捕获(CDC)- Azure服务(Azure数据工厂)

Question

我想对MYSQL数据库的数据表执行ETL操作，并将数据存储在azure数据仓库中。我没有更新日期列来标识该期间的修改记录。我怎么知道哪一张唱片被修改了。MYSQL数据库支持CDC吗？

可以使用azure服务(Azure数据工厂)读取MYSQL绑定日志或二进制日志？

Answer 1

如果您可以将一个语句查询放在一起，使用对您可用的任何函数和联接来返回所需的内容，那么您可以将其放入ADF的sqlReaderQuery部分中。

否则，您可能可以使用存储过程活动(对不起，不太熟悉mySQL，因为我是ADF)

Answer 2

有增加整数的列吗？如果是这样，仍然可以使用查找活动+复制活动+存储过程活动来获得增量负载。更多详细信息如下：https://learn.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-powershell

民主同盟军还没有为CDC提供内置的支持。您可以通过使用代码在ADF中的自定义活动来实现这一点。

Answer 3

在MySQL中，您可以选择添加时间戳列，默认情况下，该列在行级别上更新更新。CDC是不可用的，但是当您能够看到de差异时，您可以比较MySQL上的MAX(updatedate)和(>=)您自己的MAX(ETLDate)，以获得所有修改的记录。