为什么会有一致数量的访问者丢失User-Agent标头？

Question

我们最近部署了我们网站的移动版本，该部署的一部分包括用户代理检查，以确定将哪个版本交付给最终用户。

自从我们发布以来，每一分钟左右，我们都会收到一个Elmah错误，该错误来自当User-Agent为空时抛出的异常。

我们已经在生产中修复了这个问题，但我很好奇为什么我们的流量中有一致的(但非常小的)百分比可能没有定义User-Agent。

Answer 1

这是一个简单的猜测，但它可能来自机器人。

有数量惊人的机器人(搜索引擎、僵尸网络等)不断扫描网站和服务器上的漏洞、密码等。有时他们有一个已知的用户代理，有时没有。

你可以使用像CloudFlare这样的CDN服务来了解这些请求中有多少来自机器人(不，我不在那家公司工作-但使用他们的服务让我意识到网络被机器人污染了多少，统计数据很可怕)。