在SQLake中，如果我停止从作业或中间转换作业中摄取副本，管道会发生什么情况？

Question

常规(非同步)作业基于提交时间。所以如果我停止任何工作，依赖的工作会发生什么。在当前版本中，整个管道将停止。Sqlake的行为是否也是相同的，还是只会发生在同步作业上？

Answer 1

对于“unsync‘’ed”作业，如果停止了来自作业的副本，则所有下游转换作业将继续运行，但不会处理任何数据。一旦重新启动来自作业的复制，并摄入数据，所有“新”摄入的数据都将有一个$commit_time，该将允许下游转换作业处理该数据。在本例中，在重新启动来自作业的副本时将编写$commit_time，因此转换作业将包括这些数据。如果停止中间转换作业，这也适用。