我试图从whoscored.com抓取足球数据,该网站有一个面向网络的安全封装体,它不让我抓取。最初,我试图提供user_agent,并更改了标题,然后它就起作用了,但这只适用于第一页。由于我需要爬行网站的其他部分,它一直阻止我请求网站。由于阻塞时间一直在增加,它现在变得越来越疲惫。
有没有人可以提出一些建议来绕过英特拉的安全机制。
我需要用于研究的数据。
我已经看过了所有关于这个话题的老问题。但这无济于事。
工具。anaconda,language python,和library美汤
谢谢。
发布于 2019-04-13 15:44:30
如果您模仿浏览器标头并调整请求之间的时间,那么它可能会起作用
查看您的请求头和浏览器的请求头
https://stackoverflow.com/questions/55404628
复制相似问题