支持模式注册表的Spark from_avro函数

Question

我正在尝试使用融合模式reigstry与火花from_avro函数，根据这个doc。

我有以下导入：

"io.confluent" % "kafka-schema-registry-client" % "5.4.1",
"io.confluent" % "kafka-avro-serializer" % "5.4.1",
"org.apache.spark" %% "spark-avro" % "2.4.5",

但是，我只看到下面的方法签名可用。

import org.apache.spark.sql.avro._
from_avro(data: Column, jsonFormatSchema : String)

而不是我期望的模式注册表支持。

from_avro($"value", "topic-value", schemaRegistryAddr)

我是不是遗漏了什么？据我所知，2.4.5是spark-avro的最新稳定版本，但它似乎不支持databricks docs中提到的相同签名。感谢您的投入。

Answer 1

到目前为止，以下功能在spark 2.4.5中不可用。

from_avro($"value", "topic-value", schemaRegistryAddr)

它仅在Databricks环境或Databricks notebook中可用。