SparkSession.catalog和SparkSession.sessionState.catalog有什么不同？

Question

我正在学习Spark，对Spark's Catalog感到困惑。

我在SparkSession中找到了一个目录，它是CatalogImpl的一个实例，如下所示

  /**
   * Interface through which the user may create, drop, alter or query underlying
   * databases, tables, functions etc.
   *
   * @since 2.0.0
   */
  @transient lazy val catalog: Catalog = new CatalogImpl(self)

我发现SparkSession.sessionSate中有一个目录，它是SessionCatalog的一个实例。

它们之间的区别是什么？

Answer 1

，它们之间的区别是什么？

tl;dr None。

CatalogImpl中的line是您理解中缺失的一部分：

private def sessionCatalog: SessionCatalog = sparkSession.sessionState.catalog

换句话说，SparkSession.catalog creates是一个在幕后使用sparkSession.sessionState.catalog的CatalogImpl。