使用Elasticsearch作为主数据库而不是MongoDB的方案

Question

我们目前正在为我们的一个“大规模数据”产品使用MongoDB。简单来说，我们使用Mongo来存储大量的社交媒体数据，比如tweet/post/hashtag等等。因此，使用案例是社交媒体分析。到目前为止，我们使用MongoDB面临的唯一问题是全文搜索能力和聚合性能。

文档的数量将在2500万左右，我们将在单个实例上使用此数量。此外，我们的大多数分析都是在整个集合上进行的(我们通常没有太多过滤器来减少分析数据集)。最近，我们开始关注Elastic Search。它是一个漂亮的工具，搜索速度极快。因此，我们正在考虑的一种方案是将其用作Mongo顶部的搜索层。

但是，经过评估，我们看到ES也有很好的分析能力，特别是在聚合方面。我们的问题是，使用ES作为唯一的数据存储(作为Mongo的替代品)是不是一个好主意。我们看到ES的大部分牵引力来自搜索层，而不是分析工具。在分析能力中使用ES有什么缺点吗？简而言之，Mongo在哪些方面比ES做得更好？

Answer 1

Elasticsearch应该适用于您的场景。对于热门数据(复杂分析)，我会使用像Exasol这样的分析数据库。对于热数据，您确实可以使用Elasticsearch -我根本不会使用MongoDB。对于冷数据(例如，原始摄取数据)，Hadoop可能没问题。

当您在摄取端或在数据存储库本身处理大容量时，Elasticsearch允许您按天、按介质或按任意方式创建索引-查询仍可跨部分索引工作。与数据库相比，存储库中大多数数据的这种“只读”属性降低了总体硬件成本。

至于分析，您可以很好地使用Elasticsearch进行聚合和其他类型的聚合统计数据。当涉及到更复杂的分析功能时，请选择一个像样的分析数据库，或者也许您可以在Apache Spark管道中摄取时处理它。