当Google限制搜索时，Ahrefs/MOZ/SEMRUSH如何能够抓取SERP数据

Question

营销工具巨头，如Ahrefs，Moz，SEMRUSH等，如何能够从SERP数据中抓取数千个关键词，因为Google甚至限制独立用户，如果他们每分钟进行几十次搜索。他们是在使用一些官方的Google API，还是购买数据，或者其他什么……

因为我们可以通过用PHP创建一个简单的file_get_contents轻松地从SERP中获取数据，但是限制是什么呢？

$file = file_get_contents('https://google.com?s=example')

Answer 1

用大量的关键字抓取谷歌确实是一个巨大的挑战。你应该有你的代理池，这是没有标记的搜索引擎之前。

一般来说，大品牌使用第三方服务，为他们处理所有的东西。

例如，我们作为AvesAPI，每天处理谷歌上数百万个关键词的抓取，并将结果以JSON格式输出给我们的客户。我们还与市场上许多大品牌合作。