火花对达斯克的容错性

Question

我在已知的限制部分中阅读了关于以下是的Dask文档：

• 它不是容错的。任何工人的故障都有可能使系统崩溃。
• 如果发生错误，它不会优雅地失败。

但是我没有看到任何提到容错 与星火之比较的地方。这些是当前的“你选择火花的原因”

• 您更喜欢Scala或SQL语言。
• 您主要拥有JVM基础设施和遗留系统。
• 你想要一个可靠的商业解决方案
• 您主要是通过一些轻量级机器学习来进行业务分析。
• 你想要一个一刀切的解决方案

我的问题：

• 星火实际上是为容错而设计的吗，而达斯克目前并不是这样？
• 星火提供的(在理论/实践中)是什么类型的(如果有的话)，或者反之亦然？

Answer 1

这组文档页非常古老，不应该公开使用。我刚把它们移走了。有关最新文档，请参阅http://dask.pydata.org/en/latest/。

达斯克对任何工人的损失都是容错的。如果中央调度程序失败，它将失败。

Answer 2

目前，我正在使用dask包将大约3600万条记录加载到DynamoDB，而且我还在努力应对dask进程被冻结的事实。我将它们分割成2240个独立的过程，以便跟踪每个过程，我可以说，有时这些小进程也会被冻结。那么，根据我的经验，我猜想达斯克并不是容错的，至少还不够好。

dask==2.30.0