问不完全不允许规则在robots.txt文件中的作用
EN

Webmasters Stack Exchange用户

提问于 2016-11-23 14:15:11

回答 1查看 72关注 0票数 1

解决了:页面被元机器人故意阻塞，

许多页面在robots.txt文件中被阻塞，当我检查该文件时，没有迹象表明有一条规则会阻止这些页面。

robots.txt文件是结构化的：

Sitemap: https://domain.com/sitemap.xml
User-agent: *
Disallow: /directory-1/
Disallow: /directory-2/
Disallow: /directory-3/
Disallow: /directory-4/
Disallow: /directory-5/

User-agent: Googlebot-Image
Disallow:

机器人文件中没有一个目录与被阻塞的URL匹配。

我想知道不完整的Disallow是否是问题所在，尽管它只适用于Googlebot-Image？

robots.txt

回答 1

Webmasters Stack Exchange用户

回答已采纳

发布于 2016-11-23 14:41:21

我刚刚发现，不完全不允许所有的机器人完全访问。

在这里找到答案：http://www.robotstxt.org/robotstxt.html

票数 1

页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://webmasters.stackexchange.com/questions/101375

复制

相似问题

问不完全不允许规则在robots.txt文件中的作用
EN

解决了:页面被元机器人故意阻塞，

回答 1

Webmasters Stack Exchange用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问不完全不允许规则在robots.txt文件中的作用EN

解决了:页面被元机器人故意阻塞，

回答 1

Webmasters Stack Exchange用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问不完全不允许规则在robots.txt文件中的作用
EN