一个网站会被列入黑名单，如果它提供不同版本的谷歌的佩格爬虫和正常用户？

Question

这个问题实际上是双重的：

是否有可能通过检测用户代理(~灯塔，其他页面爬虫)来欺骗分页分析器，并为该网站提供一个简化的、更快的版本？如果是的话，这会不会随着时间的推移而被发现，让你被列入黑名单？

另外，与之相反的是，是否有可能向爬虫提供额外的数据(json-ld)，而这些数据是您不希望加载给普通用户的？

Answer 1

你想欺骗一个机器人，而谷歌并没有用它来排名。佩格的见解/灯塔等只是为了我们自己的分析目的，谷歌根本不使用那个机器人来确定你的网页。谷歌只是有自己的机器人名称，Googlebot和抓取你的内容和主要页面。

如果你向Googlebot提供不同的内容，那么它将被称为隐身。通常情况下，如果您阻止了一些只用于web设计的javascript/ajax文件，那么它是完全可以的，但是只能通过robots.txt文件进行。

我见过一些人阻塞javascript文件，该文件可以在线下载字体。谷歌甚至不建议做这样的事情，但如果站长这么做，就不会有任何惩罚。因为无论你通过robots.txt阻止什么，它都会在你的搜索控制台上通知你，知道你屏蔽了什么，以及他们是如何看到你的内容的。

Answer 2

Google不使用这些机器人来确定页面排名

为了优化你网站的排名，集中精力以最好的速度提供高质量的内容。

如果你向你检测到的谷歌机器人提供不同的内容，当他们发送不同名称的机器人来记录服务方式上的差异时，他们会发现这一点。如果谷歌怀疑你是在玩他们的排名系统，那么你会受到惩罚和/或被列入黑名单，几乎没有追索权的选择。这可能永久伤及您的网站的能力，成功吸引流量，即使此后的一切保持完美的符合他们的政策。

您的站点的robots.txt文件决定了如何与谷歌的机器人交互。在这里查看他们的指南：https://support.google.com/webmasters/answer/7424835?hl=en