Cassandra和聚合数据

Question

我们有一个基于“遗留”SQL Server的应用程序，它保存OLTP数据(sales)：

• OLTP数据结构非常复杂。
• 不过，我们必须把它作为报道的来源。
• 关于OLTP结构的报告非常慢。
• 因此，我们准备并保留实际的"OLAP"-views，比如说每天的销售额，每个视图实际上都是MS数据库中的一个表。

主要问题:当我们需要一个新的视图时，扫描所有现有的OLTP数据需要很长的时间。

现在我们要迁移到Cassandra，是使用相同的方法来实现相同的目标，还是：

• 也许我们最好使用像星火/麒麟这样的工具，他们能做这样的事情吗？
• 可能是方法可以改变吗？

Answer 1

这可能不是你想要寻找的答案。然而，我只想与cassandra和聚合数据分享我们的经验。在我们的项目中，我们需要从世界各地的服务器收集数据，并相应地执行聚合。一些度量标准是每台服务器、每个地理区域每小时发送消息等。因此，一旦新的数据进入，它将自动启动批处理来执行聚合，或者将数据插入多个表/视图中。我们使用apache-spark作为处理引擎，此外，我们还使用了cassandra中的一些概念，如基于特定用例的materialized view、secondary index、custom trigger等。在设计数据模型时，一个重要的问题是忘记NF，基本上，我们在NoSQL中一般不需要这一点。

简而言之，我可以说，从传统数据库迁移到NoSQL数据库一开始可能会很麻烦。但最终的结果在性能和可用性方面都是相当令人满意的。