我有一个客户想要分析客户的通话记录,以决定他们是否有资格获得贷款。他们与一家每天提供通话数据的移动公司合作。这家移动公司的客户群超过1300万。呼叫数据、语音和数据信用用于结合设置规则确定适用资格。日均通话记录约为7000万条,保存期为90天。因此,我正在寻找一个工具和数据库来帮助设计分析引擎,以确定潜在贷款请求者的资格。
发布于 2017-09-18 04:39:07
几点。
在查看基准测试时,我会反复检查它是否正在运行您所关注的负载类型。你提到提供“每日通话数据”。这是经过大批量的吗?每个电话有多少数据?我想它不会太大--比如每次调用500个字节的数据,使每天50 TB=18 TB/年(~5 TB/90天)--但是通过聚合,您应该能够减少这种存储需求。
这个分析需要旧的(呃)数据吗?你想走多远?
您还应该考虑到一个合理的路径
和
我的猜测是,如果一家电信公司正在寻求升级,那么金钱将不是目标(:-)。
如果我是你,我会考虑一个能够很好地处理聚合查询的系统--我会考虑每天、每周、每月和会计期间来执行这些汇总。
由于您(显然)每天都在批量的基础上添加数据,您应该能够在数据加载过程中动态地执行这些聚合。
您似乎希望使用开源数据库,因此我建议使用PostgreSQL --从技术上讲,它是一个比MySQL更有能力的数据库。
它具有CTEs、Window (又名Analytic)函数、CHECK约束(令人吃惊的是,MySQL没有这些)和物化视图(都是本地的)。MySQL正在研究其中的一些内容,但它们正在进行测试--查看dev.mysql.com。
我将考虑以尽可能压缩的格式存储原始数据,并每天工作在汇总上,至少在每个电话号码的基础上每天进行。这将使您能够快速响应大多数查询,同时在需要时仍然保持所有数据的可访问性。
硬件,我会使用RAID 1+0 --我猜就像大多数数据库应用程序一样,你的系统将是磁盘绑定的--确保你能在这个分数上得到最好的!我相信一个相当平均的(你的定义可能会有所不同!)服务器在CPU和RAM方面应该能够做到这一点,但同样,YMMV!我希望从至少16 of的RAM (可升级到至少64)与合理的现代CPUs开始。
最后,请记住(这是关键的)尝试用硬件和软件在负载上进行基准测试。基准测试是很棘手的--基本上是有谎言,该死的谎言和统计数据。在此之后,还有(其他人)数据库基准!:-)
祝你的项目好运,欢迎来到论坛。你的问题有点过于笼统了.你也许想看看帮助中心--带你去参观。
https://dba.stackexchange.com/questions/186171
复制相似问题