https://developers.google.com/+/web/snippet/这是个爬行机器人吗？

Question

当我们向用户发送短信时，我看到大量的流量来自这个机器人。我想了解更多关于这个机器人的细节。任何描述它的功能，它有多重要，以及我们能阻止它的任何指针都是非常感激的。完整的用户代理是

Mozilla/5.0 (X11；Linux x86_64) AppleWebKit/537.36 (X11，类似壁虎) Chrome/56.0.2924.87 Safari/537.36 Google (+https://developers.google.com/+/web/snippet/)

Answer 1

Google在Android上的SMS应用程序在爬行共享URL以在聊天中生成预览时使用该用户代理。这通常是一件好事，因为你的客户会看到预览图像和页面标题，而不仅仅是一个链接。所以我不建议阻止它。

Answer 2

您可以在您的nginx配置上阻止谷歌机器人。在服务器{}部分中，添加以下内容：

if ($http_user_agent ~* "developers\.google\.com/\+/web/snippet") {
    return 403;
}

Answer 3

这个机器人确实被一些SMS Android应用程序用来获取我们页面的预览。

使用它的手机包括(但随着时间的推移)小米、华为、奥波。对于一些网站来说，阻止它是很重要的。例如，我的应用程序正在发送一个确认链接，让预览点击它会扰乱我们的统计数据，并跟踪谁想要的数据。

要阻止它，可以使用折叠.htaccess规则(如果使用Apache)：

RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^.developers.google.com/+/web/Snippe.$ NC RewriteRule "^.*$“- F，L