网站管理员工具爬虫403错误

Question

Google网站管理员工具报告了网站服务器上一些文件夹的403个错误，例如：

http://www.philaletheians.co.uk/Study%20notes/

这个文件夹没有被禁止，所以我不明白为什么Googles会有403个错误？

为什么Google Crawler试图浏览实际的文件夹，而不是直接转到该文件夹中的文件？这跟robots.txt有关吗？

Answer 1

如果有人请求该url，请确保存在任何实际位置或文档。我浏览了你的网站，但找不到指向http://www.philaletheians.co.uk/Study%20notes/的链接似乎所有的学习笔记都在这个" study %20notes“directory.So中这个链接无论如何都不会起作用。因此，检查google网站管理员工具的链接，找出这个断开的链接所在的位置，并修复它。

Answer 2

您是否在web服务器中正确设置了默认文档？在apache中，这是在DirectoryIndex设置(缺省为index.html)中提供的。此外，通常情况下，最好去掉空格等。从您的可遍历目录名称(您看到的学习和笔记之间的%20是一个url编码的空格字符)，以便保持您的url对您的访问者和搜索引擎机器人干净。