robots.txt被忽略

Question

我在一个joomla网站上工作，robots.txt在捣乱我.我把它放在domain.com/ have /robots.txt上，我只想阻止用户浏览目录。

默认情况下，它不允许: /images/并且规则有效，无法访问文件夹。我试着添加“不允许”：/图像/缩略图，但是那个没有用。我注释掉了“不允许:/图像/只是为了测试”。该文件夹仍不可访问。在我的域中没有其他robots.txt实例。

为什么我对robots.txt的更改被忽略了？还有其他文件可以覆盖它吗？

Answer 1

只有当文件位于网站的根文件夹而不是任何子文件夹中时，文件robots.txt才能工作。

话虽如此，但robots.txt只适用于搜索引擎机器人，对防止用户浏览文件夹没有任何影响。如果有人能够在您的服务器上这样做，那么它的配置很差，应该设置为不允许索引。这可以在.htaccess文件中完成，或者最好在apache httpd.conf文件中完成。

Answer 2

Robots.txt不用于阻止用户浏览目录。目录浏览由web服务器设置处理。

robots.txt所做的就是要求搜索引擎不要在您指定的目录中索引内容。