robots.txt可以重定向到不同的域吗？

Question

我想知道是否可以将301重定向到robots.txt文件中，并将其托管在不同的位置。我想把它放在云层上。

示例：https://www.mydomain.example/robots.txt重定向到https://differentdomain.example/example/robots.txt

Answer 1

谷歌允许你所说的robots.txt 301重定向：

Google遵循RFC 1945为HTTP/1.0定义的至少五个重定向跳，然后停止并将其作为404处理。https://developers.google.com/search/reference/robots_txt

我找不到冰的爬行器的任何信息。

这是我的怀疑，较小，写得不好，非搜索引擎机器人可能不够聪明，以跟踪重定向，并可能采取301状态代码作为空白检查，以访问您的网站。

如果这是为了让您的robots.txt与另一个域的robots.txt自动更新，我会考虑在可能的情况下进行反向代理设置。

另一方面，如果这是为了通过将robots.txt卸载到CDN来减轻服务器上的压力，那么您的服务器仍然必须提供所有的301状态代码，这可能不会比仅仅提供robots.txt文件更轻。如果每天提供您的robots.txt文件甚至数万次都会给您的服务器带来任何真正的压力，这无疑是服务器有问题的迹象。