首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何将apache日志保存到mysql表中?

问如何将apache日志保存到mysql表中?
EN

Database Administration用户
提问于 2012-05-21 22:08:16
回答 5查看 5.2K关注 0票数 1

这是一个查看apache日志的php脚本。

我想将apache日志保存到mysql数据库中。

然后添加一些使用mysql搜索标记url的规则,例如: SET tag='some‘,其中url REGEXP’一些模式‘;

( a)我是否应该使用一个表来存储每次访问的所有urls,即使它们重复,然后执行REGEXP搜索并将标记应用于所有这些urls?

或者保存一个具有唯一url的表,另一个保存具有url id和访问时间的表?然后,标签将应用于这个表,如果url重复自己,该表的行数会更少。

如果选项'b‘是更好的,我应该使用什么样的索引为唯一的urls?(4000)主键?我正在考虑创建url字符串的md5散列,并使用它作为主键,因为它会更短。

我问这个问题是因为我想知道在以下情况下什么才是最好的表现:

  • 用regexp搜索标记多个urls
  • 将数千个urls导入到一个表中,并确保它们是唯一的

谢谢!

EN

回答 5

Database Administration用户

发布于 2012-06-22 23:01:02

因为这实际上是要捕获的日志数据,所以我首先以原始的形式存储它,然后根据需要将它存储到ETL/正常化。

为了进行搜索,您可以索引URL前几个字符的前面部分。假设选项是http://和https:// -然后将索引大小限制为传递协议部分的三个字符。

代码语言:javascript
复制
CREATE TABLE log ( 
datetime_created DATETIME, 
url VARCHAR(1024), 
domainname VARCHAR(255),
someotherdata VARCHAR(255), 
...
INDEX `idx_domain` (domainname(3))) 
ENGINE=InnoDB ROW_FORMAT=COMPRESSED; 
  • InnoDB将允许您搜索表w/o,锁定它。
  • 压缩将有助于磁盘空间。
  • 索引idx_domain (domainname(3))将索引域名列的前3个字符,并加快搜索速度。然而,REGEXP的策略将是尝试在域名前面匹配。

规模最终将是一个问题,如果网站变得流行,所以买家要小心。

票数 3
EN

Database Administration用户

发布于 2013-02-04 15:18:43

为什么不使用apache mod_log_sql呢?它帮助我将所有日志信息直接发送到Mysql。但是,让我提醒您,在负载较重的服务器上使用它会引起一些问题,我看到的最大的一个问题是Mysql连接超时。

票数 1
EN

Database Administration用户

发布于 2013-01-11 16:17:08

下面是我创建的一个脚本,它将允许Apache (S)到MySQL数据库表:http://www.shayanderson.com/perl/multiple-apache-logs-to-mysql-database-table-with-perl-script.htm --安装、安装和调度都非常容易。

票数 0
EN
页面原文内容由Database Administration提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://dba.stackexchange.com/questions/18243

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档