将als推荐模型导出到文件

Question

我是阿帕奇星火的新手。我运行示例文件夹中显示的示例ALS算法代码。我提供了一个csv文件作为输入。当我使用model.save(path)保存模型时，它被存储在gz.parquet文件中。

当我试图打开这个文件时，我会得到以下错误

现在，我希望将生成的推荐模型存储在文本或csv文件中，以便在Spark之外使用它。

我尝试使用以下函数将生成的模型存储在一个文件中，但是没有用：

model.saveAsTextFile("path")

请给我一个解决这个问题的方法。

Answer 1

事实证明，saveAsTextFile()只在slaves.Use collect()上工作，以便从从中收集数据，这样就可以在主服务器上本地保存数据。解决方案可以找到这里

Answer 2

以免说你已经用这样的方法训练了你的模特：

val model = ALS.train(ratings, rank, numIterations, 0.01)

你要做的就是：

import org.apache.spark.mllib.recommendation.ALS
import org.apache.spark.mllib.recommendation.MatrixFactorizationModel
import org.apache.spark.mllib.recommendation.Rating    
// Save
model.save(sc, "yourpath/yourmodel")
// Load Model
val sameModel = MatrixFactorizationModel.load(sc, "yourpath/yourmodel")