如何使数据仓库与源系统保持同步？

Question

我是一个DBA，负责从ERP系统导出数据，用于商业智能。来自ERP系统的数据被发送到数据仓库，并在ETL过程中使用。

我们过去常常在一天结束时进行出口过程。收集数据的查询使用WHERE子句和一个文档创建/修改日期=昨天。

这主要是很好的工作-没有太多的数据可以从源系统导出(在源系统和目标系统上都减少了资源消耗)。

但是有些源表没有修改日期列(只有创建日期)。

目前我只能看到两种可能性：

• 从源系统导出所有记录(成本非常高，长期无法维护)
• 导出在过去7天中创建的记录(由于较早的数据很少被修改，因此成本更低，效率也更低)

我正在寻找一个更好的解决方案。我听说有一个合并连接和一个查找转换。我不确定其中一个是否提供了我正在寻找的可能性。

你能推荐什么工具？我确信在SSIS中可以有效地完成这个任务，但我只是不知道正确的解决方案。

Answer 1

变更跟踪提供了您想要的功能。打开时，Server会创建其他内部表。在这些内部表中会注意到对数据表的更改。系统函数允许您从这些内部表中提取更改，并只传输已更改的行。

相关技术--更改数据捕获--允许您查看更改的“前”值和“后”值。