首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >跨多列搜索子字符串

问跨多列搜索子字符串
EN

Stack Overflow用户
提问于 2019-10-17 03:57:14
回答 1查看 580关注 0票数 0

我正在尝试使用PySpark在spark数据帧的所有列中查找一个子字符串。我目前知道如何使用filter通过一列搜索子字符串,并且包含:

代码语言:javascript
复制
df.filter(df.col_name.contains('substring'))

如何扩展这条语句或利用另一条语句在多个列中搜索子字符串匹配?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-10-17 04:47:43

您可以一下子将语句概括为过滤器:

代码语言:javascript
复制
from pyspark.sql.functions import col, count, when
# Converts all unmatched filters to NULL and drops them.
df = df.select([when(col(c).contains('substring'), col(c)).alias(c) for c in df.columns]).na.drop()

或

您可以简单地循环遍历这些列,并应用相同的过滤器:

代码语言:javascript
复制
for col in df.columns:
    df = df.filter(df[col].contains("substring"))
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58420839

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档