我正在试着写一个爬虫在狂欢下载图片从冰。除了bing在开始时只加载了30张图片(使用无限滚动)之外,一切都很好,因此我不能使用wget下载超过30张图片。
有没有办法一次从必应图片下载30多张图片?
--谢谢你的帮助。:)
发布于 2011-07-30 21:16:49
必应有一个API,也许它会比屏幕抓取更好?与屏幕抓取相比,Bing肯定更允许/更支持它,而且随着时间的推移,随着他们改变产品,它不太容易破坏变化。
如果您真的出于某种原因设置了屏幕抓取,那么您可以尝试通过调试加载页面(例如使用Firebug),并观察无限滚动被触发时会发生什么。然后尝试用代码手动触发它。
https://stackoverflow.com/questions/6883308
复制相似问题