将hive.metastore.warehouse.dir (‘spark.sql.warehouse.dir’)设置为用户的值('/user/hive/warehouse')

Question

我使用的是spark 2.2和oozie。我已经通过shell-script在oozie中安排了spark-action，也就是说，我在oozie中调用包含spark-submit命令的shell脚本。

但是当我运行作业时，它给出了下面的INFO语句:将hive.metastore.warehouse.dir ('null')设置为spark.sql.warehouse.dir ('/user/hive/warehouse')的值。

现在，由于属性- hive.metastore.warehouse.dir = null，我的工作无法标识表和数据库。

如何修复它或设置此属性。我尝试在hive-site.xml中设置以下属性，但仍然遇到相同的错误

    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>

Answer 1

由于上面的代码是使用oozie运行的，错误是hive.xml没有与作业一起传递。

传递正确的hive.xml解决了上述问题。