火花_temporary创建原因

Question

为什么在将结果保存到文件系统时，将结果文件上传到_temporary目录，然后将其移动到输出文件夹，而不是直接将其上传到输出文件夹？

Answer 1

在处理文件系统时，两阶段处理是确保最终结果一致性的最简单方法。

您必须记住，每个executor线程独立于其他线程写入其结果集，并且可以在不同的时间执行，甚至可以重用相同的资源集。在写的时候，火花无法确定是否所有的写都会成功。

• 如果失败，可以通过删除临时目录来回滚更改。
• 如果成功，可以通过移动临时目录来提交更改。

该模型的另一个好处是在写入过程和最终输出之间有明显的区别。因此，它可以很容易地集成到简单的工作流管理工具中，而无需单独的状态存储或其他同步机制。

该模型简单、可靠，适用于所设计的文件系统。不幸的是，它对不支持移动的对象存储没有那么好的性能。