为什么作业在tParallelize依赖关系完成之前就开始了?
我正在尝试并行执行SQL语句,然后等待第一波完成,然后再开始第二波。
第二个tParallelize已经就位,因为我有其他的SQL模板要在第一次浪潮中运行,并且希望并行地执行它们,但是为了清晰起见,我已经减少了用例。


这里是一个简单的例子,只有tSleep和tWarn组件说明了我的问题。

发布于 2022-08-12 16:24:02
在tParallelize组件中有一个名为“等待所有人”的选项,它将使进程等待所有并行运行完成其执行。不要将所有并行运行连接到另一个tParallelize组件,而是使用“等待所有”链接。

参考:链接
https://stackoverflow.com/questions/73298956
复制相似问题