火花:测量ALS的性能

Question

我正在使用来自spark.ml的ALS模型来创建一个推荐系统，该系统使用某些项集合的隐式反馈。我注意到，模型的输出预测值远低于1，通常在0,0.1的区间内。因此，在这种情况下，使用MAE或MSE没有任何意义。

因此，我使用areaUnderROC来衡量性能。我通过使用星火的BinaryClassificationEvaluator来实现这一点，我确实得到了接近0.8的东西。但是，我不清楚这是怎么可能的，因为大多数值都在0,0.1。

据我所知，在某一点之后，评估员将考虑所有的预测属于0类。这就意味着AUC将等于阴性样品的百分比？

一般来说，如果您需要测试模型的性能，而不是Logistic回归，那么您将如何对待如此低的值？

我对这一模式进行了如下培训：

rank = 25
alpha = 1.0
numIterations = 10
als = ALS(rank=rank, maxIter=numIterations, alpha=alpha, userCol="id", itemCol="itemid", ratingCol="response", implicitPrefs=True, nonnegative=True)
als.setRegParam(0.01)
model = als.fit(train)

Answer 1

在推荐程序上使用BinaryClassificationEvaluator是错误的。通常，推荐者从集合中选择一个或几个项作为预测。但是BinaryClassificationEvaluator只处理两个标签，因此二进制。

您仍然从BinaryClassificationEvaluator获得结果的原因是，您的结果数据中有一个prediction列，然后该列用于计算ROC。在您的情况下，这个数字并不意味着什么，不要把它作为模型性能的衡量标准。

我注意到，模型的输出预测值远低于1，通常在0,0.1的区间内。因此，在这种情况下，使用MAE或MSE没有任何意义。

为什么MSE没有任何意义？通过观察预测评级和真实评级的差异(误差)来评估您的模型。[0, 0.1]仅仅意味着您的模型预测评级将在此范围内。