从amazon上抓取超过5,000篇评论

Question

当我刮掉亚马逊的评论时，我总是碰到5000条评论的墙，即使产品有4万条。有什么办法能越过这个障碍，刮更多吗？

Answer 1

要从搜索结果中直接抓取更多的页面，可以使用筛选器将搜索分成更小的部分。例如，有明星评级的评论可以先搜索一个明星，然后搜索两个等等。当然，这并不能保证所有的结果，但会增加你的机会。有些过滤器可能数量更多，但更难实现，例如标记或用户名。

或者，直接通过他们的API接口访问数据和/或通过他们的Associates程序成为一个附属机构。