我可以只从scala-spark中的目录中读取想要的文件吗

Question

我想读取一些名称在数组中的特定文件。我是否可以只在这些文件中读取和存储值。我是scala和spark的新手，请帮帮我。

整个文件

val status = fs.listStatus(new Path("..../sample/t1988")) 

status.foreach(x=> println(x.getPath))

file:/......../sample/t1988/01001099999.csv
file:/......../sample/t1988/01001399999.csv
file:/......../sample/t1988/01001499999.csv

诸若此类

我要读取的文件的名称在数组中

arr: Array[Any] = Array(42044099999, 42045099999, 42060099999, 42063099999, 42075099999, 42077099999, 42079099999, 42080199999

如何仅读取上述文件的内容

Answer 1

如果您有一个包含csv文件路径的数组files，则可以使用Spark读取它们，如下所示：

val df = spark.read.format("csv").load(files:_*)