如何在星火sql行包含逗号时序列化

Question

我正在使用星火观察者https://github.com/spark-jobserver/spark-jobserver和Apache进行一些分析处理。

当作业完成时，我将从j观察者那里收到以下结构

"status": "OK",
"result": [
    "[17799.91015625,null,hello there how areyou?]",
    "[50000.0,null,Hi, im fine]",
    "[0.0,null,All good]"
]

结果不包含有效的json，如下所述：

https://github.com/spark-jobserver/spark-jobserver/issues/176

因此，我试图将返回的结构转换为json结构，但是我不能简单地根据逗号分隔符使结果字符串插入' (单引号)，因为有时结果本身包含逗号本身。

在上述情况下，如何将火花Sql行转换为json对象？

Answer 1

我最终找到了一个更好的方法，

从1.3.0开始，您可以在Dataframe上使用.toJSON将其转换为json

df.toJSON.collect()

若要将dataframes架构输出到json，可以使用

df.schema.json