如何修复Adsense错误：“我们的爬虫无法访问这些页面”时，这些页面已经被删除，并且404没有找到？

Question

我有一个网站，我们最近改变了内容管理系统。随着新系统的出现，出现了新的URL/层次结构。谷歌网站管理员工具与网站没有任何问题，我没有爬虫错误。但是AdSense似乎仍然在我的旧站点上寻找URL，而且我收到了大量的“页面未找到”错误。

怎样才能让Adsense爬行新的站点地图？

这在爬虫错误页面上。上面写着“阻止URL”，然后放在它列出的URL的一侧，“页面未找到”。

它解释道：“我们的爬虫无法访问‘阻止URL’列中列出的页面来确定内容和显示广告。单击每个域旁边的‘plus’图标，查看受影响的URL的扩展列表。当我们的爬虫无法访问您的内容时，我们将不会显示广告，从而降低收入和覆盖率。请按照”错误“列中的链接学习如何纠正这些错误。”

我只想让它忘记这些页面的存在，因为它们不再存在了。

Answer 1

AdSense使用了一个名为Mediapartners的爬虫工具。它不使用sitemap抓取整个网站。相反，当用户请求一个带有广告的页面时，它会动态地抓取该URL。

如果您不再为那些URL上的广告提供服务，AdSense机器人将停止在不需要您任何干预的情况下爬行这些URL。

我的猜测是，当您删除页面时，有几个用户访问了缓存的页面版本。触发爬行和错误。我希望这些错误能在几周内消失。