首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >大数据存储与分析

问大数据存储与分析
EN

Database Administration用户
提问于 2017-09-18 01:37:45
回答 1查看 39关注 0票数 1

我有一个客户想要分析客户的通话记录,以决定他们是否有资格获得贷款。他们与一家每天提供通话数据的移动公司合作。这家移动公司的客户群超过1300万。呼叫数据、语音和数据信用用于结合设置规则确定适用资格。日均通话记录约为7000万条,保存期为90天。因此,我正在寻找一个工具和数据库来帮助设计分析引擎,以确定潜在贷款请求者的资格。

EN

回答 1

Database Administration用户

发布于 2017-09-18 04:39:07

几点。

在查看基准测试时,我会反复检查它是否正在运行您所关注的负载类型。你提到提供“每日通话数据”。这是经过大批量的吗?每个电话有多少数据?我想它不会太大--比如每次调用500个字节的数据,使每天50 TB=18 TB/年(~5 TB/90天)--但是通过聚合,您应该能够减少这种存储需求。

这个分析需要旧的(呃)数据吗?你想走多远?

您还应该考虑到一个合理的路径

  • ( a)增加负荷,

和

  • ( b)升级你的h/ware

我的猜测是,如果一家电信公司正在寻求升级,那么金钱将不是目标(:-)。

如果我是你,我会考虑一个能够很好地处理聚合查询的系统--我会考虑每天、每周、每月和会计期间来执行这些汇总。

由于您(显然)每天都在批量的基础上添加数据,您应该能够在数据加载过程中动态地执行这些聚合。

您似乎希望使用开源数据库,因此我建议使用PostgreSQL --从技术上讲,它是一个比MySQL更有能力的数据库。

它具有CTEs、Window (又名Analytic)函数、CHECK约束(令人吃惊的是,MySQL没有这些)和物化视图(都是本地的)。MySQL正在研究其中的一些内容,但它们正在进行测试--查看dev.mysql.com。

我将考虑以尽可能压缩的格式存储原始数据,并每天工作在汇总上,至少在每个电话号码的基础上每天进行。这将使您能够快速响应大多数查询,同时在需要时仍然保持所有数据的可访问性。

硬件,我会使用RAID 1+0 --我猜就像大多数数据库应用程序一样,你的系统将是磁盘绑定的--确保你能在这个分数上得到最好的!我相信一个相当平均的(你的定义可能会有所不同!)服务器在CPU和RAM方面应该能够做到这一点,但同样,YMMV!我希望从至少16 of的RAM (可升级到至少64)与合理的现代CPUs开始。

最后,请记住(这是关键的)尝试用硬件和软件在负载上进行基准测试。基准测试是很棘手的--基本上是有谎言,该死的谎言和统计数据。在此之后,还有(其他人)数据库基准!:-)

祝你的项目好运,欢迎来到论坛。你的问题有点过于笼统了.你也许想看看帮助中心--带你去参观。

票数 0
EN
页面原文内容由Database Administration提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://dba.stackexchange.com/questions/186171

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档