我试图使用import.io爬行一个电子商务网站并收集各种定价信息。然而,每个产品的价格是由用户设置了多少下降到什么决定的。
链接到网站:http://www.saxoprint.co.uk/shop/brochures
我需要爬虫通过所有的不同的选择,并收集每一个可能的价格组合与该产品。我最初尝试使用Chrome的网页刮板添加,但发现一个页面内的多个单击操作不受此扩展的支持。
我认为import.io可以做到这一点,但我可能错了。有人知道如何收集这些数据吗,即使它是import.io的替代品?
谢谢..。
发布于 2015-08-21 09:11:43
不幸的是,使用import.io工具无法爬行所有不同的选项。通过导入,您需要将所有这些不同的选项手动关联为输入。我在类似的电子商务网站上取得了成功,我编写了一个python脚本,可以循环所有可能的选项并写出这些数据。
谢谢,
脑磁图
https://stackoverflow.com/questions/32121633
复制相似问题