用于交互式虚拟化的side显示海量数据是否适用于分析工具？

Question

要开发像https://dc-js.github.io/dc.js/vc/index.html和数据中心这样的交互式仪表板，在整个数据集上使用交叉过滤器进行客户端呈现是分析平台的最佳选择吗？

对分析平台的一些见解-一个平台，它可以连接到世界上任何地方的任何数据库表，只要提供数据库连接细节，并获取特定表的列进行分析(求和、平均、最小、最大) ans，然后用图表库在客户端进行可视化。

我知道服务器端(NodeJS)呈现有一种可能的方法，可以利用交叉过滤器库，但作为后端，计划是使用Python。

主要关注--即使数据大小很大，客户端的交互也应该是平滑的。现在的问题是：

• 获取客户端的所有数据，而不考虑其大小，以使应用程序更具交互性，这是一个好主意吗？
• 它对客户端内存堆栈施加了多少限制？
• 是否有更好的方法来做到这一点，这样我们就不必在数据的交互和客户机/服务器端处理之间进行权衡了？

Answer 1

获取客户端的所有数据，而不考虑其大小，以使应用程序更具交互性，这是一个好主意吗？

不是

它对客户端内存堆栈施加了多少限制？

和你的数据一样大。Chrome可以消耗1GB左右的内存，但在大多数用例到达之前很久就会停止运行。如果您有超过10 to的数据压缩，现在是时候开始考虑非客户端选项。

是否有更好的方法来做到这一点，这样我们就不必在数据的交互和客户机/服务器端处理之间进行权衡了？

您需要考虑在客户机和服务器之间共享数据处理负载的高级体系结构，这通常没有一个简单的库实现可用。我把http://lcadata.info (它是开源的)放在一起，作为如何做到这一点的一个例子。它的后端是Lift/Scala/Spark，但是您可以使用Python执行类似的操作。