导出带有希腊字符的CSV时databricks机制中的问题

Question

在azure-databricks​中，我有一个在一些列中包含希腊字符的spark dataframe。当我显示数据帧时，字符显示正确。但是，当我选择从databricks UI下载带有数据帧的csv时，创建的csv文件不包含希腊字符，而是包含奇怪的符号和符号。encoding.Also似乎有问题，我尝试用以下python代码创建csv：

df.write.csv("FileStore/data.csv",header=True)

但是同样的事情也会发生，因为​没有编码选项。似乎我不能选择编码。此外，dataframe保存为一个字符串，行不会被换行符分隔。​是否有解决此问题的方法？谢谢。

Answer 1

pyspark支持编码！

例如，当我读取一个文件时：

spark.read.option("delimiter", ";").option("header", "true").option("encoding", "utf-8").csv("xxx/xxx.csv")

现在，您只需为希腊字符选择正确的编码。也有可能的是，无论你用什么控制台/软件来检查你的输入，默认情况下都不会读取utf-8。