对于Filepicker.io,我们构建了“从url抓取”,但是某些站点对没有传递User-Agent头并不满意。我可以像其他answers中建议的那样使用股票浏览器用户代理,但作为一个好的网络公民,我想知道是否有更合适的用户代理来设置服务器请求另一个服务器的数据?
发布于 2013-08-16 07:51:42
这取决于您编写服务器时所使用的语言。例如,Python的urllib将缺省值设置为User-agent: Python-urllib/2.1,但如果您愿意,也可以轻松地将其设置为User-agent: filepicker.io/<your-version-here>或更特定于语言的值。
https://stackoverflow.com/questions/11201814
复制相似问题