我正在使用一个函数来将pyspark中的所有空白空间转换为单一的空白空间。我能够单独应用这个函数来使用.withcolumn分隔列。现在,我有大约120个混合类型的列,我只想将这个函数应用于字符串列。为此,我创建了一个仅包含字符串类型列名的列表。如何喂食(应用,地图?)这个数组到我的函数使用using列?
import quinn
#example data
data = {
'fruits': ["apples", " banana", "cherry"],
'veggies': [1, 0, 1],
'meat': ["pig", "cow", " chicken "]}
df = pd.DataFrame(data)
ddf = spark.createDataFrame(df)
mylist_column= [item[0] for item in df.dtypes if item[1].startswith('string')]
df= df.withColumn('fruits', quinn.single_space('fruits'))发布于 2020-01-27 10:45:13
for element in mylist_column:
ddf= ddf.withColumn(element, quinn.single_space(element))https://stackoverflow.com/questions/59929415
复制相似问题