如何从“大数据”转到网页？

Question

我花了很多时间阅读和观看人们谈论如何在他们的架构中使用为处理海量数据集和实时处理而设计的工具的视频。虽然我知道Hadoop/Cassandra/Kafka等工具是做什么的，但似乎没有人解释数据是如何从这些大型处理工具中获得的，以便在客户端/网页上呈现一些东西。

根据我对大数据工具的理解，你不能用标准的web应用查询MySQL的方式来构建你的应用程序，考虑到流经这些工具的数据的大小，我可以理解这一点，然而，对于所有这些“实时数据分析”的说法，我找不到任何解释来解释实际的分析是如何以图表/表格等形式呈现在某人面前的？

Answer 1

解释了数据是如何从这些大型处理工具中获得的，以便在客户端/网页上呈现一些东西。

考虑到这一点，一种方法是使用Spark或Hadoop处理大数据，并将结果存储到RDBMS上。然后让你的webapp从RDBMS中提取数据来渲染图表，表格等。如果你需要更多的信息，我可以为你提供我自己做的例子。

Answer 2

Impala支持ODBC/JDBC接口。因此，您实际上可以像使用MySQL一样将web应用程序挂接到它上。

你可能还想看看HBase，Kudu或者Solr。在某些实时架构中，数据最终位于其中之一。而且它们都有某种API，你可以在你的web应用程序中使用它来访问他们的数据。

Answer 3

如果您想要一个用于实时数据处理和分析的简单解决方案，请查看新的Stride API，它使开发人员能够收集、处理和分析流数据，然后轻松地可视化摘要数据或将处理后的数据实时推送到应用程序。这是构建您上面描述的实时报告仪表板和监控/警报系统的一种非常简单的方法。

看看Stride API technical docs中的例子，以及关于如何实现它的更多信息。