Sql数据集Spark2

Question

正在尝试在Spark2中运行JavaSparkSQLExample。使用spark-core_2.11-2.0.2和spark-sql_2.11-2.0.2。有一个错误：The method createGlobalTempView(String) is undefined for the type Dataset<Row>.

实际上，latest API docs并没有定义这个方法。Also the programming Guide有这个功能。任何人都有这方面的线索。

另外，我们如何构建会话--因为您不能使用：.config("spark.some.config.option", "some-value")运行。

SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration

Answer 1

• 根据您的评论，您正在查看Spark nightly的编程指南。它基于master分支，包含尚未发布的代码。最有可能的是，它将登陆Spark 2.2.0。另一方面，您的工件和API文档是针对最新的官方可用Spark版本2.0.2的。createGlobalTempView()只在2.1中出现(即将推出，但还没有推出)。因此，您不能将createGlobalTempView()与Spark 2.0.2 (您的工件的版本)一起使用。要查看Spark 2.0.2中的可用内容，请参阅此guide。
• 每个Spark应用程序都需要一个Master URL。您可以将其作为参数传递给spark-submit或直接在代码中设置：

val spark = SparkSession.builder() .appName("App name") .master("local[4]") .getOrCreate()