Spark和Metastore关系

Question

我知道Hive Metastore用于存储我们在HIVE中创建的表的元数据，但是为什么spark需要Metastore，Metastore和Spark之间的默认关系是什么

spark SQL是否正在使用元存储?如果是，这是否用于存储数据帧元数据？

为什么即使iam没有使用任何sql库，spark by defaults也会检查元存储区连接？

Answer 1

以下是来自spark-2.2.0 documentation的解释

当不是由hive-site.xml配置时，上下文自动在当前目录中创建仓库，并创建由spark.sql.warehouse.dir配置的目录，该目录默认为启动Spark应用程序的当前目录中的目录Spark- metastore_db。请注意，从Spark 2.0.0开始，hive-site.xml中的hive.metastore.warehouse.dir属性就被弃用了。相反，使用spark.sql.warehouse.dir来指定数据库在仓库中的默认位置。