无法序列化m闰中的apache火花转换器。

Question

我使用Spark2.1.0和Scala2.11.8。

我正试图在apache中构建一个twitter情感分析模型，并使用MLeap提供服务。

当我不使用mleap运行模型时，一切都很顺利。只有当我尝试以mleap的序列化格式保存模型时才会出现问题，以便以后可以使用mleap为模型服务。

下面是抛出错误的行-

val modelSavePath = "/tmp/sampleapp/model-mleap/" 

val pipelineConfig = json.get("PipelineConfig").get.asInstanceOf[Map[String, Any]]
val loaderConfig = json.get("LoaderConfig").get.asInstanceOf[Map[String, Any]]
val loaderPath = loaderConfig
    .get("DataLocation")
    .get
    .asInstanceOf[String]
var data = sqlContext.read.format("com.databricks.spark.csv").
                 option("header", "true").
                 option("delimiter", "\t").
                 option("inferSchema", "true").
                 load(loaderPath)

val pipeline = Pipeline(pipelineConfig)

val model = pipeline.fit(data)
val mleapPipeline: Transformer = model

我在最后一行得到了java.util.NoSuchElementException: key not : org.apache.spark.ml.feature.Tokenizer。

当我快速搜索时，我发现mleap并不支持所有的变压器。但我没有找到一份详尽的清单。

如何找出我正在使用的变压器实际上是不支持或有其他错误。

Answer 1

我是MLeap的创建者之一，我们支持托肯！我很好奇，您想使用哪个版本的MLeap？我认为您可能正在查看TrueCar中过时的代码基，请查看我们的新代码库：

https://github.com/combust/mleap

我们在这里也有相当完整的文档，包括支持的变压器的完整列表：

文档：http://mleap-docs.combust.ml/

变压器列表：http://mleap-docs.combust.ml/core-concepts/transformers/support.html

我希望这会有所帮助，如果事情仍然不顺利，请在github中提交一个问题，然后我们可以帮助您从那里调试它。