因此,我在我的项目中使用了gcloud dataproc、Hive和Spark,但显然无法连接到Hive metastore。
我正确地填充了表,所有数据都在那里,例如,我现在试图访问的表是图像上的下一个表,正如您可以看到的那样,拼花文件就在那里(存储为拼花)。Sparktp2-m是dataproc cluster的主人。

接下来,我有一个关于IntelliJ的项目,它会有一些查询,但是首先我需要访问这个hive数据,它不太顺利。我试着像这样访问它:
SparkSession spark = SparkSession
.builder()
.appName("Check")
.config("hive.metastore.uris","thrift://hive-metastore:9083")
.enableHiveSupport()
.getOrCreate();
JavaPairRDD<Tuple2<Object, String>, Integer> mr = spark.table("title_basics_parquet").toJavaRDD()...接下来,我构建了jar并将其作为这样的作业发送:
gcloud dataproc jobs submit spark --jars target/GGCD_Spark-1.0-SNAPSHOT.jar --class parte1.Queries --cluster sparktp2 --region europe-west1错误是:

我是不是遗漏了什么,还是错了URI?
发布于 2021-05-30 23:22:34
默认的Hive Metastore thrift://<master-node-hostname>:9083。
https://stackoverflow.com/questions/67763255
复制相似问题