是否可以使用Googlebot的用户代理令牌来检测它，而不是使用完整的用户代理字符串？

Question

来自：https://support.google.com/webmasters/answer/1061943?hl=en

下表显示了Google各种产品和服务使用的爬虫：

• User代理令牌在robots.txt中的用户代理:行中使用，以便在为站点编写爬行规则时匹配爬虫类型。有些爬虫有多个令牌，如表中所示；要应用规则，只需匹配一个爬虫令牌即可。此列表尚未完成，但涵盖了您可能在website.
• Full用户代理上看到的大多数爬虫字符串是对爬虫的完整描述，并显示在请求和web日志中。

​

​

问题

从上面的节选中我们可以看到，可以在robots.txt文件中使用用户代理令牌进行匹配，从而检测爬虫。

我想使用我的服务器上的用户代理令牌来检测Googlebot爬虫请求。因此，我不必硬编码完全用户代理字符串。

但是，用户代理令牌是否存在于request headers中？是否可以使用它，还是应该坚持使用完全用户代理字符串？

Answer 1

如果您比较“用户代理令牌”和“完整用户代理字符串”列上的值，您可以看到“完全用户代理字符串”中也有“产品令牌”。因此，您可以检查“完整用户代理字符串”是否包含“用户代理令牌”。

未来，“完全用户代理字符串”上的数字将比"produkt令牌“更频繁地发生变化。