从模式字符串Java-Spark创建JSON模式

Question

我有以下架构：

root
  |-- id: string (nullable = true)
  |-- text: string (nullable = true)  
  |-- user: string (nullable = true)

如何从该字符串创建StructType架构？

我知道我可以在我的数据集中使用.schema()方法，但我询问是否可以从字符串创建模式。

Answer 1

我需要这样的东西，我写了一个方法，这个方法能够从字符串创建模式。但是您必须针对您的场景更改此方法。

val schemaString = "val1#Int val2#String val3#Int"

val schema = StructType(schemaString.split(" ").map(fieldNameTypeStr => {
  val fieldNameType = fieldNameTypeStr.split("#")
  val dataType: DataType = fieldNameType(1) match {
    case "String" => StringType
    case "Int" => IntegerType
      /* other cases */
  }
  StructField(fieldNameType(0), dataType, true)
}))