首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >关于大规模数据仓库系统的建议

问关于大规模数据仓库系统的建议
EN

Stack Overflow用户
提问于 2008-10-31 22:25:58
回答 4查看 1.9K关注 0票数 3

我需要存储大量数据,并且能够生成报告-每个报告代表一个网站上的一个事件(我们谈论的是每秒超过50个,所以很明显,旧的数据将需要聚合)。

我正在评估实现这一点的方法,显然它需要是可靠的,并且应该尽可能容易扩展。还应该能够以灵活而高效的方式从数据生成报告。

我希望一些SOers有这类软件的经验,并能提出建议,和/或指出陷阱。

理想情况下,我希望将其部署在EC2上。

EN

回答 4

Stack Overflow用户

回答已采纳

发布于 2008-10-31 22:44:27

哇。你正在打开一个巨大的话题。

有几件事是我突然想到的.

  1. 仔细考虑您在事务部分和报告部分中插入的模式,如果您有非常大的数据量,最好将它们分开
  2. 仔细查看您可以容忍的事务实时报告和历史数据聚合报告之间的延迟。也许您应该有一个定期运行的流程,并在任何需要时仔细聚合您的transactions.
  3. look,这样您就可以在同一报告中报告您的事务数据和聚合数据,或者通过一些有意义的查询和一些实际的数据量从一个报告深入到other
  4. prototype
  5. 为您自己获得一个真正的生产质量、企业就绪的数据库,即Oracle /MSSQL
  6. 考虑使用其他人的代码/产品进行报告,例如Crystal/BO / real

就像我说的,这是个大话题。随着我想到更多,我会继续添加到我的列表中。

HTH和好运

票数 4
EN

Stack Overflow用户

发布于 2008-11-01 01:37:43

@Simon提出了许多优秀的观点,我只会添加一些,并重新迭代/强调其他一些:

为时间戳使用正确的数据类型-确保数据库管理系统具有用于捕获事件的适当precision.

  • Consider队列,允许多个线程/进程处理事务和数据分区的实际存储。考虑从事务性数据库到数据分区( data warehouse

  • Seriously )的周期性warehouse.

  • Remember,这可能不会有50个事务/秒24x7x365峰值事务与数据库管理系统中的平均transactions

  • Investigate分区表。Oracle和MSSQL都将根据值进行分区(就像date/time).

  • Have一样,从一开始就是归档/数据保留策略。太多的项目只是开始记录数据,而没有移除/存档数据的计划。
票数 1
EN

Stack Overflow用户

发布于 2013-01-13 22:12:23

我很惊讶这里没有涵盖Hadoop和HDFS的答案-我建议这是因为程序员的问题是qa,而你的问题实际上是一个数据科学问题。

如果您正在处理大量查询和大量处理时间,则可以使用HDFS (EC上的一种分布式存储格式)来存储数据,并在商用硬件上运行批处理查询(即分析)。

然后,您可以根据需要配置任意数量的EC2实例(根据您的数据处理需求的大小,可以配置数百个或数千个实例),并运行map reduce查询against.your数据以生成报告。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/255131

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档