我是否可以在作业日志中使用OutOfMemoryError来信任管道“成功”状态？

Question

我有一个启用自动标注的数据流作业，它在执行期间将工作池的大小调整为14。当作业完成时，作业日志报告了6个OutOfMemoryError，但是整个管道以及每个执行步骤都有状态succeeded。我是否可以信任职务状态，或者由于员工失败而导致数据丢失？

Answer 1

您可以信任作业状态和结果，因为Dataflow旨在以一种对此类故障具有弹性的方式处理数据。进一步的信息可以在服务优化与执行的描述中找到。具体地说：

Dataflow服务是容错的，在出现工作人员问题时，可以多次重试您的代码。Dataflow服务可能会创建代码的备份副本，并且可能会出现手动副作用问题(例如，如果您的代码依赖或创建具有非唯一名称的临时文件)。