在Scala中使用dataset创建CSV

Question

我已经从scala中的数据集创建了CSV文件。它正在创建CSV文件，但是它是0字节的。

当通过dbutils.fs.head(csv_path)读取时，其给出的错误

"java.lang.IllegalArgumentException:无法指向目录: csv_path“

```result_dataset.coalesce(1)

.write.format("com.databricks.spark.csv")

.option(“字符集”，"UTF-8")

.option("header"，"true")

.option(“9月"，”，")

.save(csv_path)`

有人能帮我吗？我认为CSV在创建文件时被损坏了。有什么解决方案吗？

Answer 1

我大约有一年没有使用Databricks了，但我记得你可以像这样将数据帧保存到CSV。

以CSV格式写入dataframe的内容：

df.write.csv("/data/home/csv")

将整个数据帧写入单个CSV文件：

df.coalesce(1).write.csv("/data/home/sample.csv")

为了完整起见，如果您想要将CSV读取到数据帧中，您可以这样做。

# path to file
path = 'file:/databricks/driver/us.csv'

# load data using sqlContext
df = sqlContext.read.format("csv")\
    .option("header","true")\
    .option("inferSchema","true")\
    .load(path)

# displat table format
display(df)