增量-五旬节数据集成(PDI)

Question

我开始使用宾得数据集成，我打算使用它来用服务器上的数据更新数据湖。但是，我只需要添加数据湖中还不存在(增量)的数据。

SQL示例：

SELECT COLUM1, COLUM2, COLUM3, COLUM4 FROM TABLEX

我不知道是否可以通过sql、filter或其他方式实现这个增量。

Answer 1

让它简单地做：使用流查找和过滤器.

第一步，从源文件中通过一些键查找湖中的目标表(业务键，bla bla.)并将新列作为名称检查器(查找链接中的select子句中的Init检查器等于1)。

第二步，如果检查器=1(目标中存在记录)，则不执行其他操作，就向target插入新记录。

​

​

Answer 2

实现这一目标有多种方法。

例子：

采取两个表输入步骤(源和目标)和两个添加校验和步骤，然后比较源和目标的校验和，如果它与insert into不匹配。