首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从列数组生成动态模式

问从列数组生成动态模式
EN

Stack Overflow用户
提问于 2019-03-26 21:52:13
回答 1查看 238关注 0票数 0

我有一个列的列表,通过使用这些列准备了一个模式

代码:

代码语言:javascript
复制
import  org.apache.spark.sql.types._
val fields = Array("col1", "col2", "col3", "col4", "col5", "col6")
val dynSchema = StructType( fields.map( field =>
       new StructField(field, StringType, true, null) ) )

然后将模式准备为

代码语言:javascript
复制
StructType(StructField(col1,StringType,true), StructField(col2,StringType,true), 
           StructField(col3,StringType,true), StructField(col4,StringType,true),
           StructField(col5,StringType,true), StructField(col6,StringType,true))

但是当我尝试使用上面的模式从json文件中读取数据时,我得到了NullPointerException。

代码语言:javascript
复制
// reading the data
spark.read.schema(dynSchema).json("./file/path/*.json")

但是,如果我将数组添加到StructType中,它就可以工作。请帮我生成动态模式。

编辑:如果我用上面的字段创建schema,我可以从json中读取数据。

代码语言:javascript
复制
 StructType(Array(
 StructField("col1",StringType,true), StructField("col2",StringType,true), 
 StructField("col3",StringType,true), StructField("col4",StringType,true), 
 StructField("col5",StringType,true), StructField("col6",StringType,true)))
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-03-26 23:31:21

只需在创建StructField时删除null参数,如下所示:

代码语言:javascript
复制
val dynSchema = StructType( fields.map( field =>
     new StructField(field, StringType, true)))

最后一个参数用于定义关于该列的元数据。默认值不是null,而是Metadata.empty。有关更多详细信息,请参阅the source code。在源代码中,他们假设它不能为null,并在没有任何检查的情况下调用它的方法。这就是为什么你会得到一个NullPointerException。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55358837

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档