回答情况：
提问时间：
问题标签：
我知道Hive Metastore用于存储我们在HIVE中创建的表的元数据，但是为什么spark需要Metastore，Metastore和Spark之间的默认关系是什么
spark SQL是否正在使用元存储
浏览 8提问于2017-09-21得票数 4
如何启用作为数据库的访问，或者Metastore的数据库名是什么？现在(2019年)有可能吗？
对我来说是蜂巢架构的一个非常重要的元素，最终用户需要访问它.在我公司的Hadoop集群上，我们计划标准化Metastore (本地和长期标准)，可能是PostgreSQL，也可能是一个(用于外部使用它的一些SQL视图的)。SQL定义(表名等)当Metastore是一个长期的本地标准时，Metastore查询将是稳定的和可靠的。Metastore它与Hiv
浏览 0修改于2019-08-08得票数 3
connection URL: jdbc:derby:;databaseName=metastore_db;create=trueStarting metastore schema initialization to 2.0.0
Initialization scriptMetastore state w
浏览 11修改于2016-04-15得票数 5
回答已采纳
是否建议在使用Azure Synapse Analytics Spark池时存储表/文件模式的元数据。数据将以拼花/三角表的任何一种格式写入。
浏览 4提问于2022-06-11得票数 0
我们有一个以MariaDB为转移数据库的蜂巢安装。MariaDB有大约250 GB的元数据和大约100 GB的索引。在峰值负荷为40-60K QPS时，它变得非常缓慢。我目前正在研究的一些想法是：replicas和路由选择它:如果存在复制滞后，则面临一些失败，而我正试图读取该值。
Mysql的水平切分:以复杂的方式创建它。看到了TiDB的一些建议，但不确定它的经验。
浏览 0提问于2023-02-16得票数 1
一直在寻找使用JSON格式的集群信任，以便使用dataproc Metastore服务和Spark依赖jars创建Dataproc集群(GCE)，无法找到任何指定如何使用这些JSON信任的参考文档。master_boot_disk_size_gb "machine_type_uri": master_machine_type_uri "metastore_config": {
"dataproc_metastore_
浏览 17修改于2022-05-30得票数 2
创建表格，AlterTable等完成需要一些后端DML (MetaStore)。哪个类会做这些事情呢？哪个类将从MetaStore获取数据库凭据？
浏览 3修改于2013-07-03得票数 0
在蜂箱方面，我遇到了以下术语：Hive Services、hiveserver2、metastore等。
MetaStore配置：显示什么是“驱动程序”的蜂巢架构：我不明白以下几点：
( 1) Hive体系结构图中的Hive Services是什么？3) MetaStore是什么(我是，而不是指Metastore数据库的)。是某个进程在运行吗？如果是，这是hiveserver2的一部分吗？根据图表，MetaStore可
浏览 0修改于2018-04-13得票数 16
我对MetaStore的目的有点困惑。DATA INPATH <HDFS_file_location> INTO table managed_table;
因此，我知道这个命令接受HDFS中文件的内容，并创建它的MetaData表单并将其存储在MetaStore例如，当我使用Spark连接到Hive时，MetaStore不包含HDFS中的实际信息，而只包含MetaData。那么，MetaStore是否被Hive简单地用于对HiveQL查询执行解析和编译步骤，并创建MapReduce作业？
浏览 0修改于2019-10-16得票数 2
回答已采纳
在安装spark的目录中，我看到创建了另一个metastore_db，其中包含临时文件夹。为什么要创建这个metastore_db，在哪里配置的？
浏览 11提问于2016-08-25得票数 1
回答已采纳
FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database '/var/lib/hive/metastore/metastore_db', see the next exception for details.NestedThrowables:
java.sql.SQLException: Failed to start database '/var&
浏览 0修改于2014-03-26得票数 1
_通过设置以下配置进行元存储 spark.sql.hive.metastore.version=${my_version} spark.sql.hive.metastore.jars=maven 但是，import SparkConf SparkConf() .set("spark.sql.hive.metastore.version", "2.3.3")
.s
浏览 78修改于2021-02-26得票数 0
回答已采纳
我正在Kubernetes上的一个项目中工作，其中我使用Spark SQL来创建表，我想向Hive Metastore添加分区和模式。然而，我没有找到任何合适的文档来在Kubernetes上安装Hive Metastore。有没有可能知道我已经安装了一个PostGreSQL数据库？如果是的话，你能帮我处理一些官方文件吗？
浏览 102提问于2019-10-17得票数 3
我有一个包含JSON数据的外部表，并且我正在使用JsonSerde将数据填充到表中。我正确地填充了数据，当我查询数据时，我能够正确地看到结果。下面是表创建ddl。 field1 string COMMENT 'This is a field1', field3
浏览 0提问于2015-11-26得票数 0
: Unable to connect to MetaStore!:291) at org.apache.hadoop.hive.metastore.ObjectStore.setConf)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.
浏览 3修改于2014-03-08得票数 0
运行MSCK repair tablename命令时，athena查询编辑器返回错误tables not in metastore。但是表是存在的，我可以在那个表上查询。我知道partitions not in metastore是常见的问题，有解决方案可以解决它。但是我找不到tables not in metastore的解决方案 有没有人解决过类似的问题，或者知道哪里会出问题？
浏览 34修改于2019-07-04得票数 4
FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClientCreateDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastorejavax.jdo.option.ConnectionDriverN
浏览 8修改于2014-04-01得票数 4
:00:59 DEBUG metastore.ObjectStore: datanucleus.cache.level2 = false14/05/27 08:00:59 INFO metastore.ObjectStorei
浏览 1修改于2014-06-02得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号