Spark3.0 scala.None$不是字符串模式的有效外部类型

Question

在使用elasticsearch-hadoop库读取带有空属性的elasticsearch索引时，获取异常

Caused by: java.lang.RuntimeException: scala.None$ is not a valid external type for schema of string

github中有一个打开的缺陷，与复制它的步骤相同：https://github.com/elastic/elasticsearch-hadoop/issues/1635

火花: 3.1.1 Elasticsearch-Hadoop :elasticsearch-火花-30_2.12-7.12.0 Elasticsearch : 2.3.4

Answer 1

它通过设置elasticsearch属性es.field.read.empty.as.null = no来工作。

.option("es.field.read.empty.as.null", "no")

来自Elasticsearch 链接

es.field.read.empty.as.null (默认为是)

elasticsearch是否将空字段视为null。