为什么Google工具会完全误读我的robots.txt文件？

Question

下面是我的robots.txt文件的全部内容。

User-agent: *
Disallow: /marketing/wp-admin/
Disallow: /marketing/wp-includes/

Sitemap: http://mywebsite.com/sitemap.xml.gz

它显然是由Wordpress产生的。我还没有手动创建一个。

然而，当我今天注册谷歌网站管理员工具时。这就是谷歌网站管理员工具所看到的内容：

User-agent: *
Disallow: /

..。所以我所有的网址都被封锁了！

在Wordpress中，设置>读取>搜索引擎可见性：“劝阻搜索引擎不要索引此站点”不被选中。我最近没查过。(谷歌网站管理员工具告诉我，它在2013年11月13日下载了我的robots.txt文件。)

...So为什么它仍然在读旧版本，而不是新版本，而不允许我的所有页面？

需要一段时间吗？我应该耐心点吗？

还有，我的sitemap行末尾的".gz“是什么？我正在使用Yoast全合一SEO包插件。我认为插件添加了".gz"，不管它是什么。

Answer 1

你可以要求Googlebot在你改变你的robots.txt后再次爬行。有关信息，请参见要求Google爬行一个页面或站点。

Sitemap文件告诉Googlebot更多关于站点结构的信息，并允许它更有效地爬行。有关更多信息，请参见关于站点地图。

.gz只是告诉Googlebot生成的sitemap文件被压缩了。

Answer 2

关于这个主题的WordPress讨论可以在这里找到：https://wordpress.org/support/topic/robotstxt-wordpress-and-google-webmaster-tools?replies=5