首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何检查模式包含的是字符串数组还是pyspark中的结构数组

问如何检查模式包含的是字符串数组还是pyspark中的结构数组
EN

Stack Overflow用户
提问于 2021-08-02 17:10:17
回答 1查看 98关注 0票数 1

我有以下模式的数据帧

代码语言:javascript
复制
root
 |-- array_column: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- id: long (nullable = true)
 |    |    |-- name: string (nullable = true)
 |-- label_info: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- extras: string (nullable = true)

如何以编程方式发现我的模式包含字符串数组的列或结构数组的列。上面只是一个示例模式。我将拥有动态模式。

到现在为止,我可以做这样的事情

代码语言:javascript
复制
if isinstance(df.schema["array_column"].dataType, ArrayType):

但这只能说明该列是arraytype。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-08-02 17:16:14

当您的列是数组列时,可以使用elementType访问它的元素的架构。然后,您可以像这样检查这些元素的类型:

代码语言:javascript
复制
if isinstance(df.schema["array_column"].dataType.elementType, StringType):
票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/68625553

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档