Kiba:表之间的“增量同步”

Question

我的目标是将大表中的条目映射到较小的表中，这与基于GROUP BY语句的查询有关。我想通过Kiba同步它们，以一种增量的方式，即不重写未更改的条目。

Kiba是否能够识别并运行最小数量的插入、更新和删除操作，以便同步这两个表？

干杯!

Answer 1

Kiba作者在这里！今天Kiba本身并没有提供通用版本的内置机制，因为在现实生活中，有许多不同的方法可以实现这一点，这取决于你的需要和你的实际设置(一切都是本地的，或者是远程处理的一部分，必须处理多少数据，堆栈是什么等等)。

也就是说，这种类型的场景在今天的生产中非常、非常常见地使用Kiba实现:这是一种常见的需求，人们使用他们现有的知识和特定的数据存储功能来实现最佳方式，依赖于Kiba。

不过，今天的几点可能会有所帮助：

• 订阅my blog，我会确保在未来分享两个商店之间简单的“同步”示例，包括代码等。
• 即将推出的"Kiba Pro“产品将涵盖这方面的非常具体的实现(所以不一定对每个人都适用)。
• 对于谷歌来说，找到好的模式的最佳关键词是”更改数据捕获“(请确保先阅读read the wikipedia page)
• Ralph Kimball的书"The Data Warehouse ETL Toolkit"，尽管很旧，
• 大多数数据库(甚至最近在PostgreSQL 9.5UPSERT中)提供了有用的命令来合并和只更新已更改的内容等(合并等)

希望这能有所帮助！