无法连接到sparkSQL

Question

我正在使用远程mysql亚稳态作为蜂巢。当我运行蜂巢客户端时，它运行得非常完美。但是，当我试图使用火花-sql，无论是通过火花壳或通过火花提交，我无法连接到蜂箱。&得到以下错误：

    Caused by: javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.apache.derby.jdbc.EmbeddedDriver

我不明白为什么斯派克试图连接德比数据库，而我正在使用mysql数据库的亚稳态。

我使用的是ApacheSmarkVersion1.3& cloudera版本CDH5.4.8

Answer 1

星星之火似乎在使用默认的蜂巢设置，请执行以下步骤：

• 复制或创建hive-site.xml的软链接到SPARK_HOME/conf文件夹。
• 在spark_HOME/conf/smack-env.sh中将单元库路径添加到类路径
• 重新启动星火库群集，以使所有内容生效。

我相信你的hivesite.xml有MYSQL转移的位置吗？如果没有，请按照以下步骤重新启动火花壳：

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://MYSQL_HOST:3306/hive_{version}</value>
    <description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore/description>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>XXXXXXXX</value>
    <description>Username to use against metastore database/description>
</property> 
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>XXXXXXXX</value>
    <description>Password to use against metastore database/description>
</property>