运行分析大数据的网站/web应用程序

Question

你好，我有一个网站，其中服务器在其数据库中有2-3 GB的数据，我想让用户运行一个查询来获取数据并分析它(例如，用户可以放入age>15)，然后按下按钮，说集群在这些数据中做集群，然后用户看到像d3.js这样的库。

该怎么做呢？我能把Hadoop或者类似的东西和php /nodejs链接起来吗？任何建议

Answer 1

我认为您的数据大小与用作BigData堆栈无关。

也许配置您的RDMS来很好地处理您的请求可以解决您的问题。

在大小为GB的Hadoop中它不会给你一个很好的响应...在你的情况下，如果你需要很小的延迟，我建议Cassndra或者Redis来处理请求。

不要将Hadoop用于GB。

Answer 2

您应该使用RDBMS，如果配置正确，它将提供更好的结果。RDBMS很容易集成到web应用程序中。

Hadoop是一个分布式文件系统，应该用于超过GB的数据，否则它只会减慢您的速度。

Answer 3

我们需要更多的信息。

取决于数据存储、数据类型，我们可以使用不同的选项

选项1:关系数据库可以在具有复制集的群集平台中存储GB级的数据，尽管日志传送/流可以处理GB的存储。然后是分析。这取决于数据是如何存储的。MS SQL server可以轻松处理top级的数据，并在其上应用分析引擎。如果我们以非规范化的方式存储数据，这是一个选择，而ACID是一个关键因素。事务感知。

如果数据是在文档模型(JSON)中接收和存储的，并且一致性和复制是考虑因素而不是可用性，则选择2。MongoDB是市场上最好的，我们可以在一次，二次设置中设置。mongo shell中的javascript解释器将有助于非常高效地处理数据。

选项3

如果一致性和ACID不是约束，可用性和数据将存储为键值。最好的选择是Cassandra。构建更好的has和or级数据将是一件容易的事情，因为它可以使用DC内或跨DC跨节点进行复制。更好的哈希键定义是这里进行分片的一个主要因素