首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Pyspark:获取嵌套结构列的数据类型

问Pyspark:获取嵌套结构列的数据类型
EN

Stack Overflow用户
提问于 2021-10-22 08:06:11
回答 1查看 86关注 0票数 0

我目前正在处理一些相当复杂的json文件,我应该将它们转换并写入增量表。问题是,当涉及到列的数据类型时,每个文件都有细微的差异。有人能给我解释一下检索嵌套结构列的数据类型的一般方法吗?在互联网上,我只能找到如何对它们做选择:https://sparkbyexamples.com/pyspark/pyspark-select-nested-struct-columns/

如果我有这样的格式:

​

​

我怎样才能获得数据类型,比如说,姓氏?

编辑: Json文件当然已经写在dataframe中,我的问题是如何查询dataframe以检索数据类型

非常感谢!

EN

回答 1

Stack Overflow用户

发布于 2021-10-22 10:36:50

您可以像这样访问数据类型:

代码语言:javascript
复制
import pyspark.sql.functions as F
df.select(F.col("name.lastname")).dtypes[0][1]
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/69673404

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档