我从业务中得到了一个关于“实时”数据/统计的新要求。他们想展示我们的系统是如何实时运行的。
我不知道该怎么做,但以下是我的想法:
我认为不可能每秒钟获取数据,因为cronjob至少每分钟运行一次。所以,没有告诉他们,我说是的,,这是可能的。
现在我的问题是,我怎样才能运行一个能获得我们网站(销售、印象、cpc等)统计数据的职位呢?
示例:
从上午9时01分到上午9时02分,我有:
从上午9时02分到上午9时03分,我有:
合计:
如果数据库由于某些原因而不能及时处理信息,那么如何确保不会计算副本呢?
谢谢
编辑:公司有200名员工,分布在3个不同的州,包括销售人员、业务分析师、技术人员、会计人员和执行人员,这些人可以阅读这些报告。
在过去的一年里,我们雇佣了20名员工,这样它就会增长一点点。对于流量数据,很难准确地知道我们每分钟得到多少数据。估计约为每分钟2.5k至10k。
我们刚刚订购了3台PowerEdge R510 (Intel E5503,2.0Ghz,4M缓存,12 We内存(3x4GB),1333 RPM双级,4x300G15KRPM串行-附加SCSI 6Gbps RAID 5)。
发布于 2011-12-02 01:53:31
如果您的服务器/雇员/数据是这样的话,下面是我推荐的内容。由于您使用的是1台服务器(和1台备份),除非您想在此服务器上存档完整的数据,否则驱动器的容量应该足够一段时间。数据可以快速增长,我会考虑增加容量或将数据存档到其他地方。
现在,由于您有很多人可以请求报告数据,所以主要的想法是尽可能快地检索数据,以确保不锁定记录(特别是如果您使用myisam表锁定与具有行级锁定的innodb )。
明智地使用索引(如果需要的话是唯一的),并使用时间戳尽可能有效地存储数据。
您还可以做的是总结您的数据,以简化您的查询。虽然,在数据库中并不是一种常见的做法,因为它不尊重正常形式。你可以得到很好的表现,但这是一个痛苦的维持。
老实说,每分钟运行一次的cron是可以的,因为您有时间保存记录,但是每秒钟都有可能获取数据。我建议您在获得记录时,将此记录标记为“已处理”或其他状态,以避免再次使用此记录。
现在,当您总结您的数据时,请确保您优化了查询,您还可以检查解释将输出什么,然后作出决定。
编辑:总结数据(不尊重数据库规范化)的将获得很好的性能,因为您只查询记录而不使用聚合函数,并且使用最小where子句连接表。
示例:
98 views on product 1
1 order
21 referral click from clients
2 added to wishlist可以是:
SELECT
views, orders, referral, whishlist
FROM
summarize_stats_20111201 /* daily table for example */
WHERE
`time` between 1322791200 /*2011-12-01 21:00:00*/ AND 1322791260 /*2011-12-01 21:01:00*/;在本例98中,views具有总视图量。
orders的订单总量,在本例中为1。
referral有总推荐量,在本例中为21
在本例2中,wishlist有总愿望清单。
这些是汇总表中的计算数据(这就是为什么我说“不尊重数据库规范化”,因为您从来不计算RDBMS中的数据),但是如果您立即需要数据,这是一种可以做到的方法。
编辑2:这里有一个维护此解决方案的示例:
您有一个维护表的cron作业。他的工作是为第二天或任何你需要的东西制作桌子。
// in php
$date = date('Ymd', strtotime('+1 day')); // for daily table
$sql = 'CREATE TABLE IF NOT EXISTS the_database.summarize_stats_" . $date . ";因此,当您插入时,请确保您有正确的表名,并使用关于重复键
// in php
$sql = 'INSERT INTO TABLE summarize_stats_20111201 SET /* all the fields you need */ ON DUPLICATE KEY views = views + 1;例如,如果要增加视图
我还忘记的是,如果您需要查询1周的数据,您必须创建一个合并表。这样你就可以做如下的事情:
SELECT
views, orders, referral, whishlist
FROM
summarize_stats_2011 /* yearly merge table for example */
WHERE
`time` between 1322272800 /*2011-11-25 21:00:00*/ AND 1322791260 /*2011-12-01 21:01:00*/;这样,您就不必UNION ALL大量的查询。
发布于 2011-11-29 12:04:53
将记录的时间戳保存在数据库中,并根据它对数据进行评估(对于mysql http://dev.mysql.com/doc/refman/5.0/en/timestamp.html)
发布于 2011-11-29 12:05:28
Gino,如果您能够访问服务器上的php.ini,就可以执行类似cronjobs之类的操作。如果可以将max_execution_time的值设置为零,则可以使您自己的cron作业每秒钟运行一次。您需要的是php.ini中这样的内容:
max_execution_time = 0或者将其设置为PHP代码中的运行时脚本:
ini_set("max_execution_time",0); 您需要的下一个函数是PHP中的PHP()函数。此功能将使您的操作延迟。您可以像使用sleep(10);一样使用它。有关此函数的更多信息,请查看此链接。
https://stackoverflow.com/questions/8310321
复制相似问题