在读取pyspark数据时使用转换器

Question

我正在尝试将一个csv文件读入中。我想根据简单的逻辑将特定的字符串转换为整数。

当与熊猫一起阅读时，这可以简单地用转换器来完成。

在熊猫中，它可以这样做，如果状态‘获得’将转换为1其他0。

  dataset=pd.read_csv("../input/startup-success-prediction/startup data.csv",\
       converters={'status': lambda x: int(x == 'acquired')})

如何做到这一点，同时阅读一个电火花数据。

   df=spark.read.csv("../input/startup-success-prediction/startup data.csv")

我想在火花放电中添加相同类型的转换器。

Answer 1

虽然Spark不提供spark.read.csv函数中的这种功能(可以找到CSV读/写的当前选项这里)，但是可以在使用when函数和otherwise读取数据之后执行列转换。

   from pyspark.sql.functions import when
   df = spark.read.csv("../input/startup-success-prediction/startup data.csv")
   df = df.withColumn('status', when(df['status'] == 'acquired', True).otherwise(False))

when函数的文档可以找到这里。