是否负责资源管理？

Question

我是Apache的新手，我开始学习Scala和Spark。在这个代码片段中，是否在完成程序时处理关闭文本文件？

val rdd = context.textFile(filePath)

我知道，在Java中，当您打开一个文件时，您必须使用try-catch--最终或者使用--资源尝试--来关闭它。

在这个例子中，我提到了一个文本文件，但是我想知道Spark是否在资源结束时处理关闭资源，因为RDD可以采取多种不同类型的数据集。

Answer 1

context.textFile()实际上并不打开文件，它只是创建一个RDD对象。您可以通过为不存在的文件创建一个textFile RDD来验证这一点--不会引发错误。RDD引用的文件只有在调用动作时才会打开、读取和关闭，这将导致Spark运行IO和数据转换，这将导致您所指示的操作。