Pyspark读csv

Question

在阅读了csv之后，我得到了一个意想不到的输出：

MessageName;ContactKey;DateTimeSend;MessageContent;MessageOpened;OpenDate;TimeInApp;Platform;PlatformVersion;Status
20200903 - NL SPAARUPDATE Augustus;0031t00000A4w0xAAB;09/03/2020 8:09;Vorige maand heb je dankzij de Lidl-Plus app %%savings%% euro gespaard. Goed bezig! ??????;no;;;iPhone OS;12.4.5;Success

正如您可以想象的那样，输出所需的是将这些信息分割成列和单元格，以创建正常的数据格式。

我尝试了以下代码：

df = spark.read.csv('/FileStore/tables/BE_August_monthlysaving.csv', header='true')

display(df)

或者，我尝试在头头之前和之后使用, delimiter=';'，但是当我这样做时，我会得到以下错误：

csv()得到了一个意外的关键字参数‘分隔符’

知道如何解决这个输出吗？

Answer 1

使用sep而不是delimiter

df = spark.read.csv('/FileStore/tables/BE_August_monthlysaving.csv', header='true', sep=';')

或者你可以把它作为一个option

df = spark.read.option('delimiter', ';').csv('/FileStore/tables/BE_August_monthlysaving.csv', header='true')