web应用程序中的大数据分析

Question

假设我有非常大的时间序列数据。例如，我将非常庞大的数据存储在像Google BigTable这样的存储中。我可以非常快地从存储中查询和获取数据。这样我就可以处理存储问题了。到目前为止，这个过程是非常有效的。

现在我有了一个web应用程序。我想分析存储在BigTable中的大型时间序列，并将结果可视化。我想对超过一百万个点的时间序列做一个统计评估。所以我有一个解决方案来存储时间序列，我可以从存储中获得正确的时间序列，但我不知道如何处理从存储中取出的时间序列。

我必须使用哪些服务器端工具来处理大数据？有哪些方法可以做到这一点？后端的并行化和web前端的聚合可视化？当我不能以同样有效的方式使用大数据时，高效地存储数据是无用的。

Answer 1

除非你想重新发明它，否则使用google bigquery而不是bigtable。https://cloud.google.com/bigquery/what-is-bigquery

Answer 2

作为BigTable/BigQuery的替代方案，你可以尝试ATSD，它已经做了你需要的事情。它是一个基于HBase的时间序列数据库。它具有内置的可视化功能，您可以直接在小部件中聚合任意数量的数据，也可以使用API检索聚合的数据。如果您正在存储传感器数据，下面是一个很好的示例用例：https://axibase.com/environmental-monitoring-using-big-data/

Answer 3

对于时间序列数据的分析和可视化，有一个非常好的解决方案，称为“Metatron Discovery”。它提供了您所遇到的大多数问题的答案。看看这个！