在错误报告中区分布鲁特力和爬行器

Question

我最近收到了很多电子邮件，报告我的网站上的问题，当我回头看的时候，已经被报道为布鲁特部队的攻击。在对他们的位置进行进一步检查后。我注意到他们中的很多人都来自同一个IP地址，并且似乎链接到Google，或者雅虎，例如这个网站：

https://www.abuseipdb.com/check/104.199.203.53

报告如下IP: 104.199.203.53，它起源于google云，作为蛮力。

有一个好的方法来区分明显的暴力攻击和爬虫检查网站吗？

更新:所有电子邮件都是从生产网站生成的。错误报告发出空引用异常。

Answer 1

强制通常适用于向登录端点发送用户/密码组合。因此，在蛮力攻击中看到的是对登录逻辑所在的URL的数千个HTTP请求。

爬行有一个完全不同的轮廓。一个爬虫会击中你的网站在任何入口点，很可能是网站的主页，并开始跟踪从那里的链接。良性爬虫从不发送POST请求；它们只需获取每个页面，查看该页面上的链接，然后获取链接页面。写得很好的爬虫也会尊重robots.txt，所以如果您在robots.txt中列出了您的登录端点，爬虫不应该请求它。此外，写得好的爬虫遵循你建议的速度限制。

源IP是完全相关的，以确定您是在处理爬虫还是蛮力攻击。爬行器和蛮力攻击都可能起源于单个IP，或者分布在几个甚至数百个不同的IP上。