排除:机器人无索引

Question

我已经配置了用于抓取web内容数据的web URL。在我的GSA中，所有的web数据都在成功地爬行，但我在索引诊断中得到了“排除:机器人没有索引”的消息，而来自该URL的文档在GSA中没有索引。

文档不包含任何元NAME=“机器人”“CONTENT="NOINDEX，no追随者” metatag“。

你在GSA观察过这样的行为吗？

Answer 1

检查相关robots.txt的内容，如果它不是作为元数据出现在实际页面中，就会有一个规则。

Answer 2

签入启动和阻止URLs>Do在GSA配置中不遵循模式。它可能在那里被排除在外。

Answer 3

我也有这个问题。我首先验证了我的URL并没有被排除在使用在线robots.txt测试器的索引之外。然后，我在GSA上的"Start and Block URL“中测试了我的链接，以确保它与任何块过滤器不匹配。

一旦消除了这些可能性，我就去索引->诊断->索引诊断，并选择适用的集合。从那里开始，当我钻到文件名并点击文件名时，就会有一个屏幕上有一个按钮来“重新浏览这个URL”。点击这个按钮为我解决了这个问题。