协同过滤火花python

Question

我只想将10行数据存储到json。但是他不是10行，而是保存了一切。

userRecs = model.recommendForAllUsers(10)

• 这个节目10然后我保存：

userRecs.coalesce(1).write.mode('overwrite').json("gs://imdbcc1/ML/userrecs")

但它给了我20万张唱片。我只想省下10个

(training, test) = ratings.randomSplit([0.8, 0.2])
als = ALS(maxIter=10, regParam=1, userCol="user_id", itemCol="tconst", ratingCol="rating", coldStartStrategy="drop")
model = als.fit(training)
#Evaluate the model by computing the RMSE on the test data
predictions = model.transform(test)
evaluator = RegressionEvaluator(metricName="rmse", labelCol="rating", predictionCol="prediction")
rmse = evaluator.evaluate(predictions)
print("Root-mean-square error = " + str(rmse))
#Generate top 10 movie recommendations for each user
userRecs = model.recommendForAllUsers(10)
userRecs.coalesce(1).write.mode('overwrite').json("gs://imdbcc1/ML/userrecs")

Answer 1

#Generate top 10 movie recommendations for each user
userRecs = model.recommendForAllUsers(10)

意味着对所有的用户来说，你是前十名电影推荐的。但是所有的唱片都会有前十名的推荐。

在使用limit(10)之前，必须对10个用户使用coalese (在前10位推荐的数据中)

像这样

userRecs.limit(10).coalesce(1).write.mode('overwrite').json("gs://imdbcc1/ML/userrecs")