读写器读取json返回_corrupt_record

Question

我正在使用pyspark和卡夫卡，但它正在返回_corrupt_record。我将https://spark.apache.org/docs/latest/sql-data-sources-json.html设置为True，但没有工作。我是不是忘了什么配置？

​

​

Answer 1

请尝试在代码中使用read多行JSON，如下所示。

val df = spark.read.option("multiline","true").json("C:\\data\\nested-data.json")