Hadoop -弹性搜索-火花版本兼容性

Question

以前，我在5.3.0版中搜索了Kibana/Elasticsearch。在我的java项目中，依赖项是：

• hbase-客户机/服务器…1.2.1
• hadoop-hdfs/通用…2.5.1
• elasticsearch-hadoop 5.3.0
• 火花(火花-核心_2.11) 1.3.0

整个过程都很正常。

我想在6.3.1版中更新Kibana / ES。Hadoop / spark的哪个版本是兼容的？我找不到兼容矩阵..。

• hbase-客户机/服务器…？
• hadoop-hdfs/通用…？
• elasticsearch-hadoop 6.3.1？
• 火花(火花-核心_2.11) 1.6.1？

谢谢。

Answer 1

elasticsearch-hadoop二进制文件适用于Hadoop2.x(也称为纱线)环境。对Hadoop1.x环境的支持在5.5中不再受欢迎，在6.0中不再对其进行测试。

星星之火是针对Hadoop 2.6+构建的，因此您应该升级Hadoop作为这里最不常见的分母。您肯定也应该使用Spark2.x，原因很多，比如bug修复，AFAIK，RDD处于“维护模式”，推荐使用DataFrames

HBase文档有自己的兼容性图表，但与Elasticsearch无关。最新稳定的Hbase为1.4.3

1.2.1看起来像一个Hive版本号，该版本运行良好，但同样不是最新的稳定版本1.x