Jdbc数据类型到Spark数据类型

Question

需要编写一个方法，该方法将接受列名列表&列类型列表(JDBC)，并返回用于创建StructType的DataFrame。

我知道我可以用一堆case语句编写一个方法，将JDBC列类型转换为适当的DataType (例如StringType、IntegerType等)，但不知道这种方法是否已经存在。

有一个DataType.fromJson方法，但我不知道/理解传递给它所需的JSON结构。

示例输入：

列名列表: UserName、年龄、薪资

列类型列表: java.lang.String、java.lang.Long、java.lang.Double

Answer 1

如果您可以使用具有给定模式的表访问JDBC源，则可以简单地从那里复制：

val jdbcOptions: Map[String, String] = ???
val jdbcSchema = sqlContext.load("jdbc", jdbcOptions).schema

JSON表示非常简单。每个StructField都表示为包含metadata、name、nullable和type字段的文档。

{"metadata":{},"name":"f","nullable":true,"type":"string"}

对于大多数应用程序，您可以忽略metadata并将注意力集中在其余三个应用程序上。棘手的部分是从Java类映射到type，但是一个简单的解决方案可以如下所示：

import net.liftweb.json.JsonDSL._
import net.liftweb.json.{compact, render}

val columns = Seq(
    ("UserName", "java.lang.String"),
    ("Age", "java.lang.Long"),
    ("Salary", "java.lang.Double")
).map{case (n, t) => (n, t.split("\\.").last.toLowerCase)}

val fields =  columns.map {case (n, t) => (
    ("metadata" -> Map.empty[String, String]) ~
    ("name" -> n) ~
    ("nullable" -> false) ~
    ("type" -> t)
)}

val schemaJSON = compact(render(("fields" -> fields) ~ ("type" -> "struct"))
val schema = DataType.fromJson(schemaJSON).asInstanceOf[StructType]