Mlflow.spark保存的模型可以加载为Spark/Scala Pipeline吗？

Question

我们的算法工程师正在使用pyspark和mlflow开发机器学习模型。他尝试使用mlflow.spark API保存模型&模型格式是原生spark MLlib格式。模型可以从Spark Scala代码加载吗？似乎mlflow在跨语言使用方面受到了很大的限制。

Answer 1

Scala/Scala不具备与MLflow MLflow相同的功能，因为它缺少项目和模型的概念。但是，您可以使用downloadArtifact方法在Scala中读入PySpark生成的Spark ML模型。

https://mlflow.org/docs/latest/java_api/org/mlflow/tracking/MlflowClient.html#downloadArtifacts-java.lang.String-java.lang.String-

%python
mlflow.spark.log_model(model, "spark-model")

%scala
val modelPath = client.downloadArtifacts(runId, "spark-model/sparkml").getAbsolutePath
import org.apache.spark.ml.PipelineModel
val model = PipelineModel.load(modelPath)
val predictions = model.transform(data)