我正在从pyspark中的s3存储桶中读取镶木地板文件。有一些地块文件具有不同的模式,这会导致作业错误。我想通过预定义的模式和火花作业应该只读取与预定义的scehma匹配的文件。
data = spark.read.parquet(*path_list)
上面的parquet spark read命令是批量读取文件。如何能够只读取传递预定义模式的拼图文件,并且只读取那些与所传递的模式匹配的拼图文件。限制是我需要通过批量加载来实现这一点,这意味着要将文件列表( path_list )传递给spark read parquet命令。
发布于 2021-01-12 19:44:00
您可以尝试这样的方法来使其正常工作。首先读取dataframe中的所有文件,然后从已读取的现有dataframe中选择所需的列,并根据值筛选出行。
data = spark.read.option("mergeSchema", "true").parquet("data/")
selectedData = data.select("column1","column2",,).filter("column1".isNotNull)我认为做上面的步骤可以让你行动起来。
https://stackoverflow.com/questions/65678777
复制相似问题