DataFrame‘object没有属性'add_suffix’

Question

from pyspark.sql.functions import *
z= k.withColumn('date', when( k.date > 29, 1).otherwise(0)).collect()

我想在dataframe中添加后缀

z1 = k.add_suffix(19)

取错为

AttributeError: DataFrame对象没有属性“add_suffix”

谢谢

Answer 1

如果您想在pyspark中的多个列中添加一个后缀，可以使用for循环和

例如，您可能会喜欢：

def add_suffix(sdf, suffix):

      for c in sdf.columns:

            sdf = sdf.withColumnRenamed(c, '{}{}'.format(c, suffix))

      return sdf

你可以在你认为合适的时候修改sdf.columns。

Answer 2

尝试使用.withColumnRenamed函数而不是add_suffix函数。

z1 = k.withColumnRenamed('date', 'date_19')

(或)

您可以创建一个lambda函数，该函数可以向数据帧中的所有列名添加后缀。

参考资料：- How to add suffix and prefix to all columns in python/pyspark dataframe