在大访问日志(~30 in )中检测可疑/bot IP地址

Question

我有很大的访问日志(~30 IP )，我正在寻找查找可疑/bot IP地址的方法。当然，我们可以用(IP + User_Agent)代替IP。所以我的问题是：

• 查找从任何IP中执行的平均请求号。
• 查找请求比平均值多的IP地址(见前一点)
• 在白天定期查找正在执行请求的IP地址(例如每小时一次)
• 关于如何检测bot的建议

这个日志相当大，我不认为朗朗可以处理它。我应该使用R后面的某种存储(hadoop或其他类似的存储)吗？我绝对没有处理/分析大数据的经验，所以任何想法、建议和文章都会受到欢迎。

Answer 1

根据您的问题，访问日志可能包含许多您可能不需要的数据，如果您只关心请求的时间和原始IP，您可以很容易地通过从输入中提取“列”来减少数据大小，然后再将其读入R中，一些标准的命令行工具(如cut或awk )应该能做到这一点。如果希望保留更多详细信息，另一种选择可能是将访问日志加载到数据库中并将其用于进一步处理，对于数据库来说，30 of并不是很多，但这当然意味着一些额外的工作:设计数据库模式和在数据库中加载数据的方法。

Answer 2

您还可以执行以下类型的分析

• 获取IP地址的地理位置，比较geo_location +时间在geo_location上的访问频率(白天在地理位置的访问频率可能是正常的，但午夜以后不会)。
• 如果您有用户名信息，请检查多个IP地址是否在同一时间段内使用相同的用户名。

WSO2利用他们的分析平台做了一些异常检测工作，对于大多数异常检测场景来说都是可扩展的。检查它-- http://wso2.com/analytics/solutions/fraud-and-anomaly-detection-solution/这可能是一个比通过R做的更好的选择，因为它允许您进行复杂的事件处理(通过类似于SQL的查询)以及机器学习。

Answer 3

您还可以执行以下类型的分析

( a)如果IP地址来自数据中心范围，则可能来自bot，而不是普通用户。

b)如果IP地址来自搜索引擎范围，则很可能来自搜索引擎bot。

您可以从IP2Location获得地理位置数据库，该数据库具有用于检测数据中心或搜索引擎的使用类型信息。