首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >子目录中的robots.txt

问子目录中的robots.txt
EN

Stack Overflow用户
提问于 2011-01-29 22:16:30
回答 5查看 10.3K关注 0票数 14

我有一个项目,它位于主域下的一个文件夹中,并且我没有访问该域本身的根目录的权限。

代码语言:javascript
复制
http://mydomain.com/myproject/

我想禁用子文件夹“禁止”的索引

代码语言:javascript
复制
http://mydomain.com/myproject/forbidden/

我可以简单地在myproject文件夹中放一个robots.txt吗?即使根目录中没有robots.txt,它也会被读取吗?

禁止禁用文件夹的正确语法是什么?

代码语言:javascript
复制
User-agent: *
Disallow: /forbidden/

或

代码语言:javascript
复制
User-agent: *
Disallow: forbidden/
EN

回答 5

Stack Overflow用户

回答已采纳

发布于 2011-01-29 22:24:24

来自robotstxt.org

要把它放在哪里

简短的答案是:在web服务器的顶级目录中。

更长的答案是:

当机器人查找URL的"/robots.txt“文件时,它会从URL中剥离路径组件(从第一个斜杠开始),并将"/robots.txt”放在它的位置。

例如,对于"http://www.example.com/shop/index.html“,它将删除”//robots.txt/index.html“,并将其替换为"http://www.example.com/robots.txt”。

因此,作为网站所有者,您需要将其放在web服务器上的正确位置,以使生成的URL正常工作。通常情况下,这与您放置网站主"index.html“欢迎页面的位置相同。文件的确切位置,以及如何将文件放在那里,取决于您的web服务器软件。

记住文件名要全部小写:"robots.txt",而不是"Robots.TXT“。

所以我担心答案是你必须把它放在根文件夹中:-( in the root folder:-(

关于你的第二个问题,我认为正确的语法是以正斜杠开头的语法(例如,/forbidden/)。

票数 22
EN

Stack Overflow用户

发布于 2011-01-29 22:26:11

不幸的是你不能。Robots.txt只能位于域的根目录。

也许如果你问一下域名的所有者,他会同意吗?

第一个语法是正确的语法,但请记住,它需要是从域的根开始的绝对路径。

票数 3
EN

Stack Overflow用户

发布于 2014-01-10 04:36:32

如果你没有root,你可以使用"robots meta tag“。

https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/4837334

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档