Apache安装和db_metastore

Question

我是Spark的初学者。我安装了java和spark-1.6.1-bin-hadoop2.6.tgz(我还没有安装Hadoop)，并且没有更改conf目录中的任何配置，就运行了spark-shell。在安装spark的目录中，我看到创建了另一个metastore_db，其中包含临时文件夹。为什么要创建这个metastore_db，在哪里配置的？我还看到在运行spark-shell之后创建了sqlContext，这个sqlContext代表什么？

Answer 1

运行spark-shell时，会创建一个SparkContext和SQLContext。SQLContext是SparkContext的扩展，用于支持Spark SQL。它具有执行sql查询(方法sql)和创建DataFrames的方法。

db_metastore是一个蜂窝转移路径。Spark通过HiveContext支持Apache Hive查询。如果没有配置hive-site.xml，Spark将使用db_metastore路径，详情请参见documentation。

不过，如果你能下载Spark 2.0就更好了。在那里你有一个统一的Spark入口点，名为SparkSession。这个类允许你从许多来源读取数据，创建数据集等。