我用Java编写了一个maven项目,使用spark存储一些单元表。表和元空间位于eclipse工作区中的目录spark-warehouse和metastore_db中。spark-warehouse和metastore_db的位置是/Users/username/workspace/Spark-Hive/load/spark-warehouse和/Users/username/workspace/Spark-Hive/load/metastore_db。
我编写了另一个maven项目,使用以下星星之火会话访问那些单元表:
String warehouseLocation = "/Users/username/workspace/Spark-Hive/load/spark-warehouse";
SparkSession spark = SparkSession.builder()
.appName("Load")
.master("local[*]")
.config("spark.sql.warehouse.dir", warehouseLocation)
// .config("hive.metastore.warehouse.dir","/Users/username/workspace/Spark-Hive/load/metastore_db")
.enableHiveSupport()
.getOrCreate();我能够访问我写到加载表的第一个maven项目中的表,但无法访问我的第二个maven项目中的表。我也给出了蜂巢转移到第二个程序,但没有工作。如何使用maven项目访问eclipse中的那些单元表?
发布于 2018-09-30 12:11:13
以下列方式给出spark-warehouse路径:
String warehouseLocation = new File("/Users/username/workspace/Spark-Hive/load/spark-warehouse").getAbsolutePath();https://stackoverflow.com/questions/52576708
复制相似问题