运行火花时异常-使用HighAvailability在Hadoop集群上提交

Question

当使用HighAvailability在Hadoop集群上运行submit命令时，我将面临异常。

下面的命令在没有启用HA的其他集群上很好地工作。

spark-submit  --master yarn-client   --executor-memory 4g  --executor-cores 2    --class com.domain.app.module.mainclass   target/SNAPSHOT-jar-with-dependencies.jar

同一命令在启用HA的群集上不工作，并引发以下异常。

Exception in thread "main" java.lang.AbstractMethodError: org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider.getProxy()Lorg/apache/hadoop/io/retry/FailoverProxyProvider$ProxyInfo

请建议我，我是否需要设置任何堵塞在火花大厅。

Answer 1

来自details上的说明

请查看您的hdfs-site.xml：

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value> <-- Choose a name for your cluster
</property>
...
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name> <-- Put cluster name here
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

还应检查该页中提到的其他设置是否正确配置：

• dfs.ha.namenodes.nameservice ID
• Dfs.namenode.rpc-address.name服务ID.name节点ID
• node address.namenode.address.namenode.dfs.namenode.address.namenode.dfs.namenode.http-address.namenode ID.name节点ID
• dfs.namenode.shared.edits.dir
• dfs.client.failover.proxy.provider.nameservice ID
• dfs.ha.fencing.methods fs.defaultFS dfs.journalnode.edits.dir