无法序列化mleap中的物流回归

Question

java.lang.AssertionError:断言失败:此op只支持二进制逻辑回归

我正试图在m闰中串行化火花管道。

我正在使用托卡器，HashingTF和LogisticRegression在我的管道。

当我试图序列化我的管道时，我会得到上面的错误。这是我用来序列化管道的代码-

    val pipeline = Pipeline(pipelineConfig)

    val model = pipeline.fit(data)

    (for(bf <- managed(BundleFile("jar:file:/tmp/abc.model.twitter.zip"))) yield {
        model.writeBundle.format(SerializationFormat.Json).save(bf).get
    }).tried.get

    sc.stop()

根据文档，mleap支持LR。所以我完全不知道我在这里做错了什么。

Answer 1

亚什多西

MLeap默认支持Spark2.0(很抱歉这还没有很好的文档说明)。在2.0中，只支持二元logistic回归。随着2.1的引入，存在多项logistic回归。因为MLeap的目的是支持2.0.0和更高版本，所以我们已经构建了一种机制来选择您使用的Spark的哪个版本(目前MLeap支持2.0和2.1，但默认为2.0)。

尝试将这一行添加到资源目录中的application.conf文件中，它将使MLeap知道在序列化时如何使用Spark2.1转换器：

// application.conf in src/main/resources
ml.combust.mleap.spark.registry.default = ${ml.combust.mleap.spark.registry.v21}