子目录可以覆盖父域的robots.txt吗？

Question

上下文: sith.edu通过反向代理映射子目录sith.edu/rogueone (/rogueone使用的是不同的CMS，托管在其他地方)。

我的问题是:如果sith.edu将不允许/rogueone添加到他们的robots.txt中，/rogueone可以使用自己的robots.txt来覆盖这种效果吗？还是谷歌会遵守父域名的robots.txt不允许规则？

Answer 1

对于每个域名，谷歌将跟随robots.txt在域名的根部，没有更多，也没有更少。谷歌将不知道任何反向代理。

因此，如果sith.edu将disallow /rogueone添加到他们的robots.txt中，谷歌将不会在sith.edu/rogueone下爬行任何URL(尽管它可以在真正的rogueone域下的不同URL上爬行相同的内容)。

在您的例子中，如果rogueone更改了他们的robots.txt，它将在sith.edu/rogueone/robots.txt上服务，而且由于谷歌不识别robots.txt文件，除非它们位于域的根部，所以它不能更改为sith.edu设置的任何robots.txt规则。