spark 1.6.1 -- hive-site.xml --未连接到mysql

Question

以下是我们拥有的版本

Spark 1.6.1 Hadoop 2.6.2 Hive 1.1.0

我在$SPARK_HOME/conf目录中有hive-site.xml。hive.metastore.uris属性也配置正确。

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://host.domain.com:3306/metastore</value>
    <description>metadata is stored in a MySQL server</description>
</property>

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>MySQL JDBC driver class</description>
</property>

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>user name for connecting to mysql server </description>
</property>

<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>*****</value>
    <description>password for connecting to mysql server </description>
</property>

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://host.domain.com:9083</value>
    <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
</property>

不幸的是，Spark在没有连接到MySQL metastore的情况下创建了一个临时derby数据库

我需要火花连接到MySQL metastore，因为那是所有元数据的中央存储。请帮帮忙

问候

巴拉

Answer 1

在集群模式下运行时，您可以尝试使用spark-submit传递hive-site.xml (--files)吗？