基于隐式反馈的推荐-- Spark Mlib

Question

我从用户那里得到了关于他们与不同产品交互的隐含反馈。以下是数据集的结构: user_id、product_category、event_date、view_count、purchase_count

基于这些数据，我试图预测用户对产品类别的亲和力得分。MLIB隐式表单需要格式评级(user: Int，product: Int，rating: Double)的输入数据集。但是如何包含view_count和purchase_count呢？

如果不能使用MLLIB，有没有其他方法可以使用。我的产品类别有限(只有8个产品类别)。在这种情况下，我可以使用8个逻辑回归模型来预测亲和力吗？

谢谢

Answer 1

您正在描述的是用于multiclass classification的multinomial logistic regression。这是典型logistic regression的概括，它只有两个结果(二进制)。

看起来您正在尝试应用一个collaborative filtering模型，但正如您所指出的，该模型在这种情况下不起作用。

查看multinomial logistic regression的Spark ML/MLlib文档。

您可以将每个输入(view_count和purchase_count)视为单独的特征(输入数据)，以便使用现有的已知数据(包括结果)来训练模型。

当您对新数据进行评分/预测时，模型将返回每个可能结果的概率: 8，在本例中...每个产品类别的概率为1。然后选择概率最高的类别。

以下是一些相关的Spark文档链接：

Spark逻辑回归编程指南

http://spark.apache.org/docs/latest/mllib-linear-methods.html#logistic-regression

当前spark.mllib逻辑回归接口

http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.mllib.classification.LogisticRegressionModel

http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.mllib.evaluation.MulticlassMetrics

新的spark.ml逻辑回归接口

(注意:它目前只支持二进制逻辑回归，但当它可用时，您应该迁移到它)

http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.ml.classification.LogisticRegression

http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator

Answer 2

您是在尝试预测亲和度得分，还是继续根据亲和度进行推荐？例如，您可能有一个购买与访问的比率，将其保留为评级(此处为亲和度评级)并执行推荐