首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在读取之前根据定义的模式读取pyspark中的拼图文件?

问如何在读取之前根据定义的模式读取pyspark中的拼图文件?
EN

Stack Overflow用户
提问于 2021-01-12 14:07:50
回答 1查看 275关注 0票数 2

我正在从pyspark中的s3存储桶中读取镶木地板文件。有一些地块文件具有不同的模式,这会导致作业错误。我想通过预定义的模式和火花作业应该只读取与预定义的scehma匹配的文件。

data = spark.read.parquet(*path_list)

上面的parquet spark read命令是批量读取文件。如何能够只读取传递预定义模式的拼图文件,并且只读取那些与所传递的模式匹配的拼图文件。限制是我需要通过批量加载来实现这一点,这意味着要将文件列表( path_list )传递给spark read parquet命令。

EN

回答 1

Stack Overflow用户

发布于 2021-01-12 19:44:00

您可以尝试这样的方法来使其正常工作。首先读取dataframe中的所有文件,然后从已读取的现有dataframe中选择所需的列,并根据值筛选出行。

代码语言:javascript
复制
data = spark.read.option("mergeSchema", "true").parquet("data/")
selectedData = data.select("column1","column2",,).filter("column1".isNotNull)

我认为做上面的步骤可以让你行动起来。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/65678777

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档