我有一个项目,它位于主域下的一个文件夹中,并且我没有访问该域本身的根目录的权限。
http://mydomain.com/myproject/我想禁用子文件夹“禁止”的索引
http://mydomain.com/myproject/forbidden/我可以简单地在myproject文件夹中放一个robots.txt吗?即使根目录中没有robots.txt,它也会被读取吗?
禁止禁用文件夹的正确语法是什么?
User-agent: *
Disallow: /forbidden/或
User-agent: *
Disallow: forbidden/发布于 2011-01-29 22:24:24
要把它放在哪里
简短的答案是:在web服务器的顶级目录中。
更长的答案是:
当机器人查找URL的"/robots.txt“文件时,它会从URL中剥离路径组件(从第一个斜杠开始),并将"/robots.txt”放在它的位置。
例如,对于"http://www.example.com/shop/index.html“,它将删除”//robots.txt/index.html“,并将其替换为"http://www.example.com/robots.txt”。
因此,作为网站所有者,您需要将其放在web服务器上的正确位置,以使生成的URL正常工作。通常情况下,这与您放置网站主"index.html“欢迎页面的位置相同。文件的确切位置,以及如何将文件放在那里,取决于您的web服务器软件。
记住文件名要全部小写:"robots.txt",而不是"Robots.TXT“。
所以我担心答案是你必须把它放在根文件夹中:-( in the root folder:-(
关于你的第二个问题,我认为正确的语法是以正斜杠开头的语法(例如,/forbidden/)。
发布于 2011-01-29 22:26:11
不幸的是你不能。Robots.txt只能位于域的根目录。
也许如果你问一下域名的所有者,他会同意吗?
第一个语法是正确的语法,但请记住,它需要是从域的根开始的绝对路径。
发布于 2014-01-10 04:36:32
如果你没有root,你可以使用"robots meta tag“。
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
https://stackoverflow.com/questions/4837334
复制相似问题