这是一个查看apache日志的php脚本。
我想将apache日志保存到mysql数据库中。
然后添加一些使用mysql搜索标记url的规则,例如: SET tag='some‘,其中url REGEXP’一些模式‘;
( a)我是否应该使用一个表来存储每次访问的所有urls,即使它们重复,然后执行REGEXP搜索并将标记应用于所有这些urls?
或者保存一个具有唯一url的表,另一个保存具有url id和访问时间的表?然后,标签将应用于这个表,如果url重复自己,该表的行数会更少。
如果选项'b‘是更好的,我应该使用什么样的索引为唯一的urls?(4000)主键?我正在考虑创建url字符串的md5散列,并使用它作为主键,因为它会更短。
我问这个问题是因为我想知道在以下情况下什么才是最好的表现:
谢谢!
发布于 2012-06-22 23:01:02
因为这实际上是要捕获的日志数据,所以我首先以原始的形式存储它,然后根据需要将它存储到ETL/正常化。
为了进行搜索,您可以索引URL前几个字符的前面部分。假设选项是http://和https:// -然后将索引大小限制为传递协议部分的三个字符。
CREATE TABLE log (
datetime_created DATETIME,
url VARCHAR(1024),
domainname VARCHAR(255),
someotherdata VARCHAR(255),
...
INDEX `idx_domain` (domainname(3)))
ENGINE=InnoDB ROW_FORMAT=COMPRESSED; idx_domain (domainname(3))将索引域名列的前3个字符,并加快搜索速度。然而,REGEXP的策略将是尝试在域名前面匹配。规模最终将是一个问题,如果网站变得流行,所以买家要小心。
发布于 2013-02-04 15:18:43
为什么不使用apache mod_log_sql呢?它帮助我将所有日志信息直接发送到Mysql。但是,让我提醒您,在负载较重的服务器上使用它会引起一些问题,我看到的最大的一个问题是Mysql连接超时。
发布于 2013-01-11 16:17:08
下面是我创建的一个脚本,它将允许Apache (S)到MySQL数据库表:http://www.shayanderson.com/perl/multiple-apache-logs-to-mysql-database-table-with-perl-script.htm --安装、安装和调度都非常容易。
https://dba.stackexchange.com/questions/18243
复制相似问题