Cron作业+ webapp分析的新表和物化视图？

Question

嗨

我正在为我的SaaS应用程序添加分析工具，我很想听听其他人的经验。

目前，我看到两种不同的方式：

1. 在DB级别进行大多数数据处理，构建数据并将其聚合到物化视图中，以提高性能。这样，数据才能保持规范化。
2. 具有不同的cron作业/进程，它们将以不同的时间间隔(10分钟、1小时等)运行。这将查询数据库并将聚合结果插入到新表中。在这种情况下，度量/分析是非规范化的。

哪种方法最有意义，也许是完全不同的方法？

Answer 1

在真正的大数据上，cronjob或ETL是唯一的选择。你只读一次数据，聚合它，然后再也不回去了。因此，查询聚合数据相对便宜。

视图将在表中显示。如果对基于视图的查询使用"explain“，您可能会看到数据仍在从表中读取，可能使用索引(如果存在相应的索引)。以这种方式查询兆字节的数据是不可行的。

cronjob/ETL方法的唯一问题是需要维护它。如果你在生产环境中发现一个错误，你就完蛋了。您可能会花费数天或几周的时间来修复和重新计算聚合。简单地说:你必须在第一次把它做好:)