两阶段文献检索中的排序评价方法

Question

我创建了一个基于文本相似度(余弦相似度)的查询文档对之间的两级排序系统。现在我需要验证我的排名系统，对于用户来说，检索到的适当排序项是否正确，我应该选择哪种方法。我读过关于Pointwise/成对/列表方法来验证排名，但是手动评估排名系统，这会更有帮助。如果有人能启发出一种更好的评价方法，这将对我很有帮助。谢谢

Answer 1

如果我的问题是正确的，你正在寻找一个评估方法，以确定你的两阶段检索系统是否运行良好。如果这是真的，则可以使用下列评估方法之一：

• 相关性判断:您可以使用具有数百个查询和显式相关性判断的TREC类集合，并使用IR评估指标(如MAP、P@10、NDCG等)。来评估你的模型。
• A/B测试:实际上，您可以在检索系统的第二阶段显示初始结果和重新排序的结果，并要求用户判断重新排序的结果是否更好。
• 单击数据:如果您可以访问搜索引擎日志，您可以使用用户的单击信息来评估您的模型。要做到这一点，您应该注意到几个偏倚问题，例如位置偏差问题。

在上述战略中，第一项应该更容易和更便宜。您只需要访问TREC数据，这不是私有的(但您需要支付数百美元才能访问其中的大多数数据)。