我需要存储大量数据,并且能够生成报告-每个报告代表一个网站上的一个事件(我们谈论的是每秒超过50个,所以很明显,旧的数据将需要聚合)。
我正在评估实现这一点的方法,显然它需要是可靠的,并且应该尽可能容易扩展。还应该能够以灵活而高效的方式从数据生成报告。
我希望一些SOers有这类软件的经验,并能提出建议,和/或指出陷阱。
理想情况下,我希望将其部署在EC2上。
发布于 2008-10-31 22:44:27
哇。你正在打开一个巨大的话题。
有几件事是我突然想到的.
就像我说的,这是个大话题。随着我想到更多,我会继续添加到我的列表中。
HTH和好运
发布于 2008-11-01 01:37:43
@Simon提出了许多优秀的观点,我只会添加一些,并重新迭代/强调其他一些:
为时间戳使用正确的数据类型-确保数据库管理系统具有用于捕获事件的适当precision.
发布于 2013-01-13 22:12:23
我很惊讶这里没有涵盖Hadoop和HDFS的答案-我建议这是因为程序员的问题是qa,而你的问题实际上是一个数据科学问题。
如果您正在处理大量查询和大量处理时间,则可以使用HDFS (EC上的一种分布式存储格式)来存储数据,并在商用硬件上运行批处理查询(即分析)。
然后,您可以根据需要配置任意数量的EC2实例(根据您的数据处理需求的大小,可以配置数百个或数千个实例),并运行map reduce查询against.your数据以生成报告。
https://stackoverflow.com/questions/255131
复制相似问题