如何查找特定格式的web日志

Question

我制作了一个数据挖掘软件，可以发现web应用程序或其他应用程序的入侵。该软件通过检查网站访问日志并找出不代表通常行为的离群值和模式来工作。

现在，为了测试我的软件，我需要一些access.log或其他web日志，它们一行中包含以下语法：

- - - [06/Jan/2009:06:46:07 +0000] "GET /lostpasswd.php?env=myobject ..... etc.. HTTP/1.1" 200 43  etc...

我的软件在.php?之后搜索模式，并获取符号"=“之后的元素，它在到达HTTP时停止

那么我在哪里可以找到这种访问日志?？我试着用这个用谷歌搜索：inurl:access.log filetype:log

但通常结果对我的目的来说并不好

Answer 1

在Apache下，这些文件通常位于/var/log/下，但这是一个受限制的区域，必须以管理员身份从计算机运行，或者通过管道传输到您的可执行文件。这里是指向apaches文档的链接。http://httpd.apache.org/docs/2.0/mod/mod_log_config.html#customlog

希望这能帮上忙。

Answer 2

你不是有个朋友有自己的网站吗？他可能会给你提供一些原木。

请注意，实际的模式在很大程度上依赖于站点。事实上，当你收集到足够多的日志时，你可能最终只挖掘到了微不足道的模式(例如没有参数)和实际的攻击模式(对于微不足道的攻击；有数千个所谓的“脚本孩子”试图在数千个web服务器上尝试多年的漏洞攻击，但没有成功)。

此外，您还会产生大量的错误警报。有断开的链接，浏览器错误，写得很差的爬虫。比起真正的攻击，您会更频繁地检测到所有这些攻击。

你真的需要与一些经常被攻击的更大的网站合作，以验证你的结果。