如何导出pyspark mlib机器学习模型并部署为web服务？

Question

我有一个使用spark mlib构建的线性回归模型。现在，我想导出模型并通过web服务使用模型。我正在调查PMML无法找到合适的源代码，因为我如何使用它。我是否需要安装任何特定的PMML库，或者如何安装。

我尝试使用joblib将同一模型导出为pickle文件，并通过flask将其部署为web服务。我想为Spark mlib中开发的模型做一些类似的事情。

有没有人能帮帮我或者给我指出正确的来源？

Answer 1

对于使用PMML的简单REST web服务，您可以看看https://github.com/openscoring/openscoring。不过它使用的是JAVA。对于Python+Flask，我不知道，但它只不过是一个需要评估的XML文件。因此，您可以尝试编写自己的Python逻辑来完成此任务。我也找到了这个https://github.com/maxkferg/pmml-scoring-engine，但它没有太多的星星。

但是需要注意的是，PMML的使用相当有限。并非所有型号都受支持，例如ALS。另一种方法是通过二进制文件部署PySpark应用程序。我写了关于这个here的博客。我们使用Cloud Foundry部署了它，但如果您需要公共端点，也可以使用buildpack将其部署到Heroku上。希望这能有所帮助。