CDC和ETL帮助/建议

Question

这是背景。

我们有几个不同的客户，每个客户都有不同的后端源数据库。我们希望回来获取对后端数据库的实时更改，然后将数据转换为目标数据库中的目标模式。在那之后，会向其他应用程序广播一条消息，提醒这一变化。

为此，我们需要CDC软件进行变更检测，然后需要一个好的ETL工具来转换数据并将其加载到目标数据库中。

到目前为止，我们已经了解了IBM的CDC。研究仍处于初步阶段，但我只是想了解其他人对此的看法。你对此有什么推荐的程序？我们是不是真的在做这件事?正确的way...meaning是疾控中心软件的过度杀伤力吗？

Answer 1

大多数数据库都有某种内置的CDC机制(Oracle当然有)。我会考虑应用发布/订阅模式，使每个数据库都成为发布者，并让目标订阅所有更改。其他应用程序也可以订阅进一步的通知。对于这种通信，NServiceBus是一个很好的选择。如果您不想使用原生DB CDC机制，那么您可以执行一些原始操作，并构建一些内容来检测每个DB供应商的更改(触发器、检查重做日志等)。