是否可以在hadoop3集群上运行Spark (2.3)作业，特别是HDP3.1和CDH6 (测试版)

Question

另外，CDH 6还处于测试阶段，他们是否支持spark 2.3而没有任何花哨的东西？是否可以在支持Hadoop3的CDH或hadoop集群上运行相同的旧spark 2.x版本(特别是2.3)？

我很想知道yarn，hdfs和mapreduce API的向后兼容性变化。

有没有人在生产中使用这个？

Answer 1

CDH 6.0正式发布于几周前。除了Hadoop3之外，它还打包了Spark 2.2作为默认的Spark版本：https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_600_new_features.html#spark_new_features。但是，可以单独将CDS升级到更高版本(2.3.x)。

根据https://www.cloudera.com/documentation/spark2/latest/topics/spark2_troubleshooting.html#spark_troubleshooting__hive_compatibility的说法，在Spark中，CDH6似乎不受HMS不兼容的影响。