无法从SparkFiles读取拼花文件

Question

在使用addFile将多个文件添加到“`park”并尝试使用

parquet_dir = "/a/b/c.parquet"
spark.sparkContext.addFile(parquet_dir)

parquet_path = SparkFiles.get("c.parquet")
spark.read.parquet(f"file://{parquet_path}")

我们得到了一个java错误，它在csv文件上显示了一个java.nio.file.NoSuchFileException

答案=‘xro770 770’，gateway_client = ，target_id =‘o 767’，name = 'parquet‘

py4j.protocol.Py4JJavaError:调用o767.parquet时出错。E: /Users/foorx/Developer/myproject/project-files/51e05c208b62b433293ef408fd1a3820.csv :由于阶段失败而中止的任务:阶段1.0中的任务0失败1次，最近的失败:阶段1.0中丢失的任务0.0 (TID 1) (10.196.190.115执行器驱动程序)：java.nio.file.NoSuchFileException：

什么可能会导致电火花读取csv路径，当它应该读取一个拼板路径？

谢谢!

Answer 1

结果发现，错误是由删除另一个本地文件引起的，该文件是添加到spark中的。驱动程序仍将尝试引用已删除的本地文件，并在其他地方创建运行时问题。