首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何将我的single_space函数应用于大量的数据格式列?

如何将我的single_space函数应用于大量的数据格式列?
EN

Stack Overflow用户
提问于 2020-01-27 10:36:49
回答 1查看 34关注 0票数 0

我正在使用一个函数来将pyspark中的所有空白空间转换为单一的空白空间。我能够单独应用这个函数来使用.withcolumn分隔列。现在,我有大约120个混合类型的列,我只想将这个函数应用于字符串列。为此,我创建了一个仅包含字符串类型列名的列表。如何喂食(应用,地图?)这个数组到我的函数使用using列?

代码语言:javascript
复制
import quinn

#example data
data = { 
    'fruits': ["apples", "    banana", "cherry"],
    'veggies': [1, 0, 1],
    'meat': ["pig", "cow", "   chicken  "]}

df = pd.DataFrame(data)
ddf = spark.createDataFrame(df)

mylist_column= [item[0] for item in df.dtypes if item[1].startswith('string')]
df= df.withColumn('fruits', quinn.single_space('fruits'))
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-01-27 10:45:13

代码语言:javascript
复制
for element in mylist_column:
   ddf= ddf.withColumn(element, quinn.single_space(element))
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/59929415

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档