来自Microsoft IP地址范围的客户端似乎是在欺骗Bingbot。

Question

我经常从AS8075的13.x.y.z (在这些范围内)的IP地址中获得点击率，这些地址在用户代理中以宾博特的形式出现，但这些地址列在几个块列表中，不通过验证宾博特工具，并且没有主机名，因此无法通过正向-反向DNS检查。其他Microsoft范围中已知的合法微软机器人通常具有双向DNS记录，将IP地址链接到*.search.msn.com主机名，反之亦然。

我想允许合法的微软机器人爬行我的网站，但从所有迹象看，这些IP似乎是粗略的。

我的问题是:尽管有迹象，这些是合法的Microsoft bot IP地址吗?如果这些是合法的Microsoft机器人，为什么不分配主机名，清除恶意软件，并将它们添加到其验证工具中呢？如果这些并不是真正合法的微软机器人，为什么微软不清理他们网络上的机器(如果他们控制它们)，或者强制执行一些规则来防止他们的IP上的坏机器人(如果他们被租给别人的话)？

Answer 1

从微软的公共IP地址空间的角度来看，在我看来，微软只拥有13.64.0.0/11、13.96.0.0/13和13.104.0.0/14 --他们并不拥有整个/8 (13.X.X.X)。

13.X.X.X块由ARIN管理，我猜它是由其他公司管理的。

所以，除非我弄错了，否则我认为微软并不真正拥有你认为他们拥有的IP空间。

Answer 2

因为必应服务并不总是使用可以识别的IP，所以验证Bing工具是不可靠的。

站点扫描爬虫还没有使用冰博特IP地址，我们计划今年晚些时候切换到冰博特IP地址。

这个注释在必应工具中的站点扫描请求页上已经有了至少2-3年的小文本了。如果微软在这里懒散了这么长时间，我毫不怀疑一些“常规”爬虫也没有正确识别。