数据增量收费

Question

• 我们希望在DataStage (并行环境中)中执行增量加载。准确地只加载前一个加载和新加载之间的增量(用于创建、更新、删除DWH中的记录)。
• 我们希望存储上次加载期间恢复的最后一个密钥，以便能够在新加载时从下一个记录重新启动请求。
• 我们已经在运行时成功地使用了一个参数来筛选SQL查询。不幸的是，我们还没有找到检索最后一个密钥(max ( key ) -聚合器？)的可能性。并将其存储在这个参数中。
• 使用哪个阶段，在同一个并行作业中输出单个值，然后存储到参数？

有什么想法吗？

谢谢你的帮助。

Answer 1

考虑从目标中获取最大值--它很可能是一个数据库，max()很容易实现。

看看我关于getting some data from the "stream" to a parameter的帖子

Answer 2

谢谢迈克尔

我已经找到了在同一个作业中获得最大值(LastRowId)的Head stage，其中有'All行(在跳过之后)=False‘和’行数(每个分区)=1。

效果很好。