评估两种使用不同数据培训的推荐模型

Question

假设给您两个推荐系统进行评估，A和B。使用大数据对模型A进行培训，用小数据对模型B进行培训(这意味着A将有更多的项可供选择以进行推荐)。

你如何比较这两种型号？一种策略是在两种模型都受到数据集(大数据的“A”，小数据的“B”)和80/20分裂的情况下计算精度和召回，然后计算精度和召回。但是，我不确定在这种情况下，查准率和召回结果是否具有可比性。你认为如何？

另一种方法是用大数据训练A，用小数据训练B，但是修复测试集(也就是说，A和B的测试集都是相同的)。但是，考虑到A模型是基于大数据的，因此有更多的项目可供推荐，这难道不是“不公平”吗？

你如何比较这两种型号？

Answer 1

有些东西看上去不清楚，也许是我没明白。如果我的回答不够精确，请评论。

当涉及到查询时，推荐引擎并不局限于其培训数据。如果推荐的可用项目池对于这两个引擎来说是不同的，那么不公平就会出现。

我训练语言模型来计算搜索查询和网络上所有网站的标题之间的相似性。

培训数据将是我调整语言模型所基于的文本数据集。小的数据集会导致“糟糕”的训练，因此在查询时间上，由于它没有涵盖培训阶段的整个语言分布，所以可能不能很好地工作。但是它仍然给出了一组查询的答案！

这就是我关心的问题，你错了。只要一组查询和项目池是固定的，推荐引擎就可以进行比较。然后，对小数据进行培训的效果不如对大量数据进行培训的效果。

对于这种比较，您“需要”标记数据，即对于一组已知的查询，您需要知道要推荐的第一个n项或第一个n项的等级或其他类型的标签。但是你当然需要有标签的数据，当你有它的时候，比较将是有效的。

关于评估指标，请看一下这个答案。