站点地图包含被robots.txt阻止的urls

Question

我们遇到了一个意外的情况，我们的Wordpress站点将robots.txt设置为在大约7天内不允许爬行。我现在正在尝试玩清理，而网站管理员工具显示“网站地图包含被robots.txt阻止的urls。”在我调整了robots.txt并允许爬行后，URLS没有理由仍然被阻止，当我访问示例时，它们显示正常。

Robots.txt网址：http://bit.ly/1u2Qlbx

网站地图网址：http://bit.ly/1BfkSmx

我的robots.txt根据网站管理员工具阻止的URL：http://bit.ly/1uLBRea或http://bit.ly/1CsrHnr

Answer 1

不要担心，如果你再次启用URL，谷歌的网络爬虫会注意到并再次抓取你的页面。该消息将在几天内从GWT中消失。

最后，您可以使用GWT的相应特性测试您的robots.txt。

Answer 2

使用此插件

https://wordpress.org/plugins/wp-robots-txt/

它将删除以前的robots.txt并设置简单的wordpress robots.txt并等待一天

问题是可以解决的。

Answer 3

谷歌可能需要一段时间来重新抓取你的网站。我想说等待可能是你唯一的选择。

在通过站长工具提交完整的网站地图后，我已经花了7天的时间来正确地索引东西。

看起来你正在使用Yoast SEO，这个插件应该会告诉你是否存在任何其他问题。