fail2ban检测到错误的网站爬虫

Question

最近我的服务器被一个糟糕的网站爬虫攻击，这个爬虫在2分钟内在我的网站上搜索了大约70.000个文件夹。这导致了一些服务器延迟，如果它在phpmyadmin或其他地方发现一些漏洞，也可能是一个问题。

现在我的问题是:有没有可以阻止这种扫描的fail2ban配置？

我已经找到了一个较旧的(link)，但它与我日志中的日志字符串不匹配。

我日志中的字符串如下所示：

domain.tld:80 <Attacker IP (v4 & v6)> - - [17/Apr/2017:20:45:28 +0200] "GET /ph4/ HTTP/1.1" 404 4123 "http://www.google.com" "Googlebot/2.1 (+http://www.google.com/bot.html)"

Answer 1

我的正则表达式并不完美。但它可以有所帮助：

failregex = ^<HOST>.* \".*\" (400|401|403|404|405|413|414|429).*

此正则表达式将匹配返回代码400,401,403,404,405,413,414,429您可以在此link上找到这些代码的含义

我希望它能有所帮助。