当我刮掉亚马逊的评论时,我总是碰到5000条评论的墙,即使产品有4万条。有什么办法能越过这个障碍,刮更多吗?
发布于 2019-04-23 02:59:05
要从搜索结果中直接抓取更多的页面,可以使用筛选器将搜索分成更小的部分。例如,有明星评级的评论可以先搜索一个明星,然后搜索两个等等。当然,这并不能保证所有的结果,但会增加你的机会。有些过滤器可能数量更多,但更难实现,例如标记或用户名。
或者,直接通过他们的API接口访问数据和/或通过他们的Associates程序成为一个附属机构。
https://stackoverflow.com/questions/55802915
复制相似问题