是否有可能在ftp:// URL上发送HTTP头?我该怎么做?
我想要的是基于HTTP的爬虫看到HTML响应(在标题中),而人类用户则看到纯FTP内容。
解决这个问题最聪明的方法是什么?我考虑了用户代理的特定重定向,但这似乎违背了大多数搜索引擎的指导方针。
我想让机器人索引内容的HTTP版本,而普通用户可以访问FTP版本,所有这些都是使用一个ftp:// URL。
这可行吗?
发布于 2015-02-18 14:02:03
这不是可行的。
不能将ftp:// URL重定向到http:// URL。FTP协议没有重定向。FTP协议甚至不知道什么是URL。web浏览器(充当FTP客户端)也不发送“用户代理”或与FTP服务器类似的任何内容。
FTP协议中也没有标头(但与上述事实相比,这只是一个技术问题)。
FTP协议与HTTP完全不同。
显然,web浏览器(所有这些浏览器)以与HTTP资源相同的方式呈现FTP资源,使您感到困惑。但这只是浏览器的“游戏”。他们根本没有相似之处。
请注意,FTP早在因特网、HTTP、web和URL之前就发明了。
不过,请注意,您可能会做相反的方式。您应该能够将HTTP重定向到FTP。
但我还是不认为这是个好主意。如果客户端需要FTP,他们可能希望使用真正的FTP客户端,而不是web浏览器。而真正的FTP客户端不会理解HTTP (重定向)。
但是这个问题是没有意义的,因为现在所有的主要浏览器都是删除对FTP的支持。
https://stackoverflow.com/questions/28584982
复制相似问题