我有一个列的列表,通过使用这些列准备了一个模式
代码:
import org.apache.spark.sql.types._
val fields = Array("col1", "col2", "col3", "col4", "col5", "col6")
val dynSchema = StructType( fields.map( field =>
new StructField(field, StringType, true, null) ) )然后将模式准备为
StructType(StructField(col1,StringType,true), StructField(col2,StringType,true),
StructField(col3,StringType,true), StructField(col4,StringType,true),
StructField(col5,StringType,true), StructField(col6,StringType,true))但是当我尝试使用上面的模式从json文件中读取数据时,我得到了NullPointerException。
// reading the data
spark.read.schema(dynSchema).json("./file/path/*.json")但是,如果我将数组添加到StructType中,它就可以工作。请帮我生成动态模式。
编辑:如果我用上面的字段创建schema,我可以从json中读取数据。
StructType(Array(
StructField("col1",StringType,true), StructField("col2",StringType,true),
StructField("col3",StringType,true), StructField("col4",StringType,true),
StructField("col5",StringType,true), StructField("col6",StringType,true)))发布于 2019-03-26 23:31:21
只需在创建StructField时删除null参数,如下所示:
val dynSchema = StructType( fields.map( field =>
new StructField(field, StringType, true)))最后一个参数用于定义关于该列的元数据。默认值不是null,而是Metadata.empty。有关更多详细信息,请参阅the source code。在源代码中,他们假设它不能为null,并在没有任何检查的情况下调用它的方法。这就是为什么你会得到一个NullPointerException。
https://stackoverflow.com/questions/55358837
复制相似问题