'PageJacking‘的解决方案是什么？

Question

'PageJacking‘正在创建一个'WebCrawlers’看起来不错的网站，而对于普通用户来说，我将显示广告/促销内容。简单地说，一个网站假装“网络爬虫”是“好孩子”，而对用户来说却不是。

维基：http://en.wikipedia.org/wiki/Pagejacking

爬虫如何避免伪造网站(PageJacking)？

Answer 1

User agent spoofing。

搜索引擎可能会发出两个机器人：

• 具有真正的User-Agent HTTP头的机器人(显示自己是搜索引擎机器人)
• 具有典型浏览器的User-Agent HTTP头的机器人(模仿人类访问者)

现在，搜索引擎可以比较这两个机器人得到的结果。