ElasticSearch (es-hadoop)是什么?对于一个活的web应用程序来说，它比HBase有什么好处？

Question

我并不完全清楚es-hadoop来自描述的是什么。

这仅仅是一个将数据从ES集群转移到Hadoop分析的HDFS的“连接器”吗？如果是这样的话，为什么不直接使用HBase进行低延迟文本查询？

es-Hadoop是一个不同于普通ES的安装吗？

请澄清一下。

谢谢。

Answer 1

ES-Hadoop更接近于成为Hadoop生态系统与ES之间的连接点.这不是ES的单独发布。

基本上，它改进了Hadoop生态系统应用程序到ES之间的集成。在我的组织中，我们使用这个特性有两个目的：

1. 在将数据索引到ES之前，我们使用Spark对数据进行分析，并执行相关的聚合，以减少在ES上执行的索引量。ES-Hadoop帮助我们直接从星火数据结构索引到ES。我们用一行代码开始索引过程，不需要自己编写索引程序。(该特性是可配置的，您可以灵活地对数据进行任何索引。)
2. 在我们的组织中，我们使用ES作为我们的近实时分析集群。ES中的数据以一种能够为我们的客户提供最佳性能的方式放置。有时(通常当我们对一些新特性有想法时)，我们必须从ES中获取数据，并对数据执行一些复杂的处理。在这些情况下，我们也可以用一行代码从ES数据中创建Spark数据结构。

因此，ES更接近于一个写得很好的连接器。您仍然必须将数据从ES集群传输到Hadoop。

我不确定与HBase的比较，您不能真正地比较HBase的特性，它是一个关键的值存储，而ES是一个通用的搜索引擎+在上一个版本中实现了非常好的分析功能。在我看来，我们正在处理不同的工具，这些工具访问不同的问题集。