我目前正在处理一些相当复杂的json文件,我应该将它们转换并写入增量表。问题是,当涉及到列的数据类型时,每个文件都有细微的差异。有人能给我解释一下检索嵌套结构列的数据类型的一般方法吗?在互联网上,我只能找到如何对它们做选择:https://sparkbyexamples.com/pyspark/pyspark-select-nested-struct-columns/
如果我有这样的格式:

我怎样才能获得数据类型,比如说,姓氏?
编辑: Json文件当然已经写在dataframe中,我的问题是如何查询dataframe以检索数据类型
非常感谢!
发布于 2021-10-22 10:36:50
您可以像这样访问数据类型:
import pyspark.sql.functions as F
df.select(F.col("name.lastname")).dtypes[0][1]https://stackoverflow.com/questions/69673404
复制相似问题