防止一个失败的子任务使Flyte中的所有任务失败

Question

我有一个可以启动一些python_tasks的dynamic_task。但是，一旦其中一个python_tasks出现故障，其他仍在运行的are也会出现故障。这是设计出来的吗？有没有办法改变这种行为，使其他任务仍然可以完成而不会失败？

Answer 1

这是设计的，作为一种节省资源的手段，但它是可配置的。据推测，动态任务是相互关联的，下游任务需要所有这些任务的输出。因此，如果其中一个失败了，默认行为就是使其余的失败。

如果您想要更改这一点，可以在装饰器：https://github.com/lyft/flytekit/blob/d4cfedc4c580f08bf904e6e474a0b948a4608737/flytekit/common/tasks/sdk_dynamic.py#L84中创建动态任务，并将浮点数作为此参数

Answer 2

其思想是在通过DAG的数据中不能容忍部分故障。如果某个节点发生故障，那么根据定义，数据是部分的。

但对于动态数组任务，Flyte允许特殊的配置(实际上是array tasks插件)，它允许用户提供可接受的成功任务的比率。