云计算机加速sql大数据查询？

Question

在我的新工作中，我做了很多数据挖掘工作。我们收集了大量的数据，而我的工作就是用统计/启发式分析来实时地将这片信息海洋可视化。

我们目前正在专用虚拟服务器上使用mysql。我通常在一个查询中得到100,000+行的和。让我说，我的一些更复杂的多表查询正在使用14sec+ :P -我一直在努力优化我的sql例程以提高性能，但我只能做这么多。

我的老板一直在问我是否需要把数据转移到云上。老实说我不确定。我读过很多关于“它有多伟大”，“它有多快”等等。但很难说什么是市场营销，什么是合法。

我也一直在考虑缓存数据。我在过去做过一些这方面的工作，我可以从中看到真正的好处。但我不太确定它在我的情况下有多适用。我们一直在获取实时数据，并让用户能够以一种真实的方式挖掘这些数据。(例如，每小时、每天、每周、每月、季度、年度、所有时间或用户定义的自定义时间范围)如果您查看数据集，比如上个月的数据，数据就会最终确定。它将永远不会增加新的数据。但是这个月，新的交易时时刻刻都在发生，我不确定我是否能缓存这类事情.叹息

我也不反对离开sql。这只是我们目前使用的模型。但是随着我们公司的发展(因此数据量越来越大，read+write)，我想继续为使用它的企业及其用户提供非常快速的服务。

那么，我能从现实世界的用户那里得到一些反馈(和建议)吗？云sql？还是使用/创建一些缓存引擎？

Answer 1

你已经问了一个问题，这个问题通常会导致真正的项目(我承认我是这个领域的一名顾问)。

我只想给你一些思考的事情：

• 如果您要从云中获取您的结果，您必须在那里获取您的数据。这可能会造成更多的滞后。
• 实时是怎么回事？
• 你在小组/公司有编程方面的专业知识吗？对于复杂的数据操作任务，Hadoop (及其衍生产品)是一种基于云的技术，运行良好。
• 一旦你发现了你感兴趣的东西，你有没有办法“生产”它，所以更新结果不会浪费分析人员的时间。
• 云(如AWS)可以提供非常可伸缩的硬件。然而，硬件相当便宜。问题的一部分是费用和资本投资之间的平衡。
• 你和MySQL有联系吗？其他数据库对大型数据集上的复杂查询具有更好的功能。