修正NDCG限制

Question

• NDCG的一个限制和克服这个限制的方法(如https://en.wikipedia.org/wiki/Discounted_累积性_gain#Limitations中提到的)是“规范化的DCG不对结果中丢失的文档进行惩罚。例如，如果查询返回两个得分分别为1、1、1、1、1、1、1、1、1、1、1、1、1、1、1、1、1的结果，假设理想DCG被计算为前者为3级，而后者为5级，则两者都被视为同样好。考虑到这一限制的一种方法是对结果集强制使用固定的集大小，并对丢失的文档使用最小分数。在前面的例子中，我们使用分数1,1,1,0,0和1,1,1,1,1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1
• 在上述情况下，分数为1,1,1和1,1,1,1,1，均有NDCG =1
• 应用固定分数分别为1，1，1，0和1,1,1,1,1，1，1，1，1，1，1，1，1，1，1，1，1，1，1。
• 谢谢

Answer 1

这样做的想法是，当为两个结果报告nDCG@5 (与同一个查询相关联)时，您必须使用相同的理想折扣累积增益(在您的示例中，它将是1,1,1,1,1，1，1，1的最高值)。然后，结果1,1,1,0,0最终因缺少文档而受到惩罚(nDCG@5 < 1)。