评估web搜索引擎的度量

Question

我目前正在开发一个小型的网络搜索引擎，但我不知道如何评估它。据我所知，搜索引擎可以通过其精确性和召回程度来评估。在一个更“本地化”的信息检索系统中，例如一个电子库，我可以计算两者，因为我可以知道哪些内容与我的查询相关。但在基于网络的信息检索系统中，例如Google，要计算召回量是不可能的，因为我不知道有多少网页是相关的。这意味着不能进行F度量和其他需要相关页数的测量。

我写的都是对的吗？网络搜索引擎的评估是否仅限于精确性？除了P@k之外，还有什么其他的测量方法可以用来评估一个网络搜索引擎吗？

Answer 1

您是正确的，精确度和回忆，以及F分数/F度量是常用的标准，以评估(未排名)检索集在搜索引擎的性能。

而且，你也正确地认识到，对于海量数据，比如整个互联网上的所有网页，确定召回和精确分数的困难或不可能的本质是正确的。对于所有搜索引擎，无论大小，我认为考虑人类交互在信息检索中的作用是很重要的:使用搜索引擎的用户更感兴趣的是有一个(排名)的相关结果列表来满足他们的信息需求，还是一个“顶级”相关结果就足以满足用户的信息需求？有关用户如何评估其信息需求何时满足的更多信息，请参阅“满足”，因为它与信息寻求有关的概念。

不管你使用的是精确性、回忆性、平均平均精度、平均倒数排名，还是其他众多相关性和检索指标中的任何一种，它都取决于你试图评估的搜索引擎结果的质量。首先，我想弄清楚我的小型搜索引擎的用户可能会有什么样的“信息需求”：他们是在寻找一些相关的文档，还是如果他们有一份“最好”的文档来满足他们的信息需求，是否会对他们的查询需求更有帮助？如果你能更好地理解你的用户将如何使用你的小型搜索引擎，那么你就可以利用这些信息来告诉你，哪一种相关模型会给你的用户提供他们认为对他们的信息搜索需求最有用的结果。

• 您可能对斯坦福大学NLP系提供的免费在线版本的曼宁与朔伊茨“信息检索导论”文本感兴趣，其中包括相关性和检索模型、评分等等。
• 谷歌搜索质量评估人员培训指南列出了谷歌搜索结果排名和评分的数百个维度，当你试图确定用户的信息搜索目标时，你可能也会对它感兴趣。看到决定网页的PageRank (谷歌页面排名算法)得分的所有因素都是非常整洁的！