首页
学习
活动
专区
圈层
工具
发布

配置Hive使用MySql存储元数据

配置Hive使用MySql存储元数据 2018-7-24 作者: 张子阳 分类: 大数据处理 默认情况下,Hive会使用Derby来存储元数据(主要是表、列、分区Partition的信息)。...Hive支持使用单独的数据库来存储元数据,比如MySql、PostgreSql等,本文将介绍如何配置Hive使用MySql存储元数据。 本文假设你已经单机安装、配置好了MySql和Hive。...如果没有,可以参考下面两篇文章: 使用Docker安装和配置MySql Linux上安装和配置Hive 安装MySql连接器 前往:https://dev.mysql.com/downloads/connector...这个时候,可以登录到mysql,删除掉hive_metastore数据库,然后执行一下下面的命令,重新初始化一下元数据库: # schematool --dbType mysql --initSchema...MySql来存储Hive元数据的配置。

4.6K50

为 Hive 配置 postgres 或 MySQL 作为元数据库

Hive的元数据默认使用derby作为存储DB,derby作为轻量级的DB,在开发、测试过程中使用比较方便,但是在实际的生产环境中,还需要考虑易用性、容灾、稳定性以及各种监控、运维工具等,这些都是derby...MySQL和PostgreSQL是两个比较常用的开源数据库系统,在生产环境中比较多的用来替换derby,并且强烈推荐这么做。 下面就来介绍如何配置Pg或MySQL来作为Hive元数据库。...MySQL 如果需要使用MySQL作为metastore后台数据,按照以下步骤进行配置。 安装 同样,选择一个合适的节点。...ln -s /usr/share/java/mysql-connector-java-5.1.45.jar /PATH/TO/HIVE/lib 安装Hive 在ambari上持续点击下一步,配置数据库...以上就是配置Hive元数据库的基本过程,如有疑问,可以给我留言。

4.1K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Apache-Hive 使用MySQL存储Hive的元数据

    默认情况下,Hive的元数据是存储到Derby中的,这是Apache的一个纯Java编写的小巧数据库,类似于Sqlite。...所以使用MySQL来存储元数据能够解决这个问题,并且也更方便迁移和备份。 MySQL的安装与配置 1....配置Mysql服务端 安装Mysql服务器之后,你需要配置允许root用户的登录权限 打开MySQL客户端 mysql -uroot -p 使用Mysql数据库 use mysql 查询user表 select...需要注意的是:在配置过程中,可能会出现一些问题,这里记录一下我所遇到的问题及解决方案: 1、在配置完成后执行 drop table table_name 的删除表操作命令Cli无响应: 这是由于指定存储...的数据表的初始化,按照上述第三步,在启动Hive前初始化下数据表即可:使用 schematool -dbType mysql -initSchema 命令进行初始化。

    3.7K30

    ofbiz 使用mysql作为存储数据库

    ofbiz自带的数据库是Derby,这是一种小型的适合于测试系统的数据库,但不适合在产品级系统中使用,所以通常我们需要将ofbiz数据库迁移到其它数据库上。...下面介绍迁移到mysql的步骤,迁移到其他数据库操作类似。 1....安装mysql,创建ofbiz的数据库 使用以下命令分别创建ofbiz用户(密码ofbiz),和ofbiz、ofbizolap、ofbiztenant三个数据库 复制 mysql -u root create...修改ofbiz配置文件 编辑 entityengine.xml 修改默认的数据库引擎,以及连接数据库的用户名密码等信息 复制 # vim ofbiz_HOME/framework/entity/config.../ant start #启动ofbiz 至此已经完成ofbiz使用mysql数据库的配置,其他操作请参考ofbiz目录下的README文件

    4K60

    使用Shell脚本来解析MySQL元数据变化

    这是学习笔记的第 2006 篇文章 今天写了一个简单的Shell脚本,可以通过这个脚本来得到一个MySQL元数据变化的列表。...如何有效的进行元数据信息的快速提取呢,我们可以考虑增量的实现方式,比如若干套数据库中,有100张表,那么在一个时间周期范围内的数据变化次数相对来说属于少数,我们抽取元数据的时候如果每次都是全量进行提取势必会影响已有的服务性能...,同时也会提取出大量冗余的数据,如何进行元数据的状态识别,我们可以由浅入深,比如我们根据information_schema.tables里面的create_time来得到一张表的DDL变化情况。...,表的总数不变,还是100张,但是包含两类变更,我们可以使用快照对比着两个时间点的变化明细(数据库,表,变更时间)来得到一个变更列表,有了这个变更列表,我们就可以进行明细信息的抓取了,通常来说,变更的比例和总数相对是属于小范围的...-f "${tab_list_file}" ]; then /usr/local/mysql/bin/mysql -udba_admin -pxxx -h127.0.0.1 -P${port} -e

    1.3K20

    Agent 数据上下文工程实践:从元数据到可信查询

    :从元数据到使用知识数据平台通常维护了大量元数据,包括表名、字段类型、分区信息、数据血缘以及资产归属。...因此,历史 SQL 可以作为生成数据上下文的参考依据,而涉及具体业务口径的规则,还需要结合指标定义、数据所有者的审核或经过验证的查询示例进行确认。...人工维护的上下文则由相关团队负责,补充业务定义、特殊使用条件、已知的数据质量问题,以及对自动生成内容的修正和说明。两类上下文分别存储,通过数据资产标识符建立关联。...其中,正文记录具体的数据使用知识,Frontmatter 则保存 summary 等元数据,供后续构建索引使用。...对于已经建立数据目录和元数据管理系统的团队,这套实践提供了一个参考方向:利用现有的数据资产、查询历史和业务文档,逐步构建可维护、可检索的数据上下文,让 Agent 在分析任务中能够获取更完整的数据使用依据

    20510

    搭建Hive3.x并整合MySQL8.x存储元数据

    并提供了一个命令行工具和JDBC驱动程序来连接并操作Hive Hive定义了一种类SQL查询语言:HQL(类似SQL但不完全相同),使用SQL方便了分布式存储中大型数据集的读取、写入和管理 通常用于进行离线数据处理...、ORC、Parquet等)以及自定义函数 为什么要使用Hive: 简单、容易上手,提供了类似SQL查询语言HQL,只要有SQL基础就能上手 为超大数据集设计的计算/存储扩展能力(MR计算,HDFS存储...derby这种内嵌数据库来存储在Hive中创建的表、列、分区等元数据信息,但在生产环境中肯定不会使用内嵌数据库,而是将元数据存储在外部的数据库中,例如MySQL。...所以我们还需要准备一台MySQL数据库,我这里使用的是一台现成的8.0.13版本MySQL: [root@aliyun-server ~]# mysql --version mysql Ver 8.0.13...中就可以看到表和字段的元数据信息: ?

    2.3K30

    Hive快速入门系列(4) | 如何将Hive元数据配置到MySql

    上一篇博文我们讲了怎样安装MySql,这篇文章为上篇的后续,此篇文章讲的是如何将Hive元数据配置到MySql。 本系列所用到的安装包博主已经上传到百度云盘中,如有需要的可以自取。...配置Metastore到MySql 2.1 在/opt/module/hive/conf目录下创建一个hive-site.xml 在这个时候就可以转换成hadoop用户了 [bigdata@hadoop001...根据官方文档配置参数,拷贝数据到hive-site.xml文件中 https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin...多窗口启动Hive测试 3.1 先启动MySQL [bigdata@hadoop001 mysql-libs]$ mysql -uroot -p199712 # 查看有几个数据库 mysql> show...窗口查看数据库,显示增加了metastore数据库 mysql> show databases; +--------------------+ | Database | +----

    1.7K20

    MySQL 简单查询语句执行过程分析(三)从存储引擎读数据

    select * from t_recbuf where i1 > 49276 本文讲述从 InnoDB 存储引擎中读取数据,所以文中涉及到存储引擎的地方,都直接使用 InnoDB 代替了。...1.1 建立 MySQL 和 InnoDB 索引映射 MySQL 从 InnoDB 读取数据之前,词法分析、语法分析、查询准备、查询优化这些阶段都是 server 层的范围,在 server 层中需要使用索引信息时...,使用的都是 MySQL 的索引信息,InnoDB 读取数据时会使用自己的索引信息,需要通过 MySQL 索引找到 InnoDB 索引,而这个找 InnoDB 索引的过程,是每执行一条使用索引进行查询的...根据查询优化阶段确定的要使用的索引 ID 从 MySQL 和 InnoDB 索引映射中找到 InnoDB 索引,后面执行读取数据操作时,就直接使用这个索引。...关于 server 层和 InnoDB 之间的数据交换,可以参考这篇文章:MySQL server 层和存储引擎层是怎么交互数据的?

    1.7K20

    MySql基础-笔记11-临时表、复制表、元数据、序列使用

    临时表只在当前连接可见,如果使用脚本来创建MySQL临时表,那每当脚本执行完成后,该临时表也会自动销毁。...如果使用了其他MySQL客户端程序连接MySQL数据库服务器来创建临时表,那么只有在关闭客户端程序时才会销毁临时表,也可以手动销毁。...1.2、实例 图片1.3、删除临时表图片2、复制表即 完整的复制MySQL数据表。...旧表 图片3、元数据3.1、获取服务器元数据图片图片图片图片4、序列使用4.1、说明MySQL 序列是一组整数:1, 2, 3, ......,由于一张数据表只能有一个字段自增主键, 如果你想实现其他字段也实现自动增加,就可以使用MySQL序列来实现。

    2.3K50

    数据产权登记后的资产管理实践:从元数据建档到授权使用

    登记凭证通常以数据资源或数据产品为对象,而内部实际存储和处理的对象,可能是数据库表、字段或非结构化文件。如果只保存凭证名称,后续仍难以确定其覆盖范围,也无法据此定位具体数据。...围绕登记后的管理,资产档案还需要关联:登记编号;登记日期;使用范围;对应的内部数据对象。这些信息将登记凭证与平台内的数据资产联系起来。管理人员查询资产时,可以进一步核查其登记情况和使用要求。...即使两项资产的权利类型相同,也不代表其访问条件和使用范围完全一致。具体授权还需要考虑数据类别、级别及业务需求。对于数据产品C,也应结合其实际内容进行分类分级,并将结果作为后续使用申请和权限配置的依据。...能否自动同步,取决于具体系统对接和流程配置,不能仅根据平台具备资产管理功能,就推定其已经实现与登记系统的自动联动。无论采用何种维护方式,目标都是让登记信息、资产描述与使用配置保持一致。...从数据中台建设角度看,持续管理的关键,是让登记信息、内部数据对象、加工关系和授权记录保持对应,并在变化发生后及时维护。

    18721

    一脸懵逼学习Hive的元数据库Mysql方式安装配置

    /hive 这启动过程和上篇博客启动集群的模式完全吻合,所以一定注意启动节点,以及启动节点的进程的步骤和过程哦; 3:Hive配置Mysql方便对数据的管理(切换到hive目录下面的conf目录):...(3)配置mysql的metastore,上传两个mysql的rpm包 1)rpm -qa | grep mysql   rpm -e mysql-libs-5.1.66-2.el6_3.i686 -...要想使用Mysql对Hive的元数据进行管理,需要在hive-site.xml配置一下(由于要修改hive-site.xml,里面内容比较多,可以将复制的删除了,新建一个空白的文件): [root@slaver3...使用命令初始化mysql数据库(用户名和密码设置): 查看安装过程中提醒的信息,主要告诉我们如何初始化数据库: [root@slaver3 hadoop]# rpm -ivh MySQL-server...Thanks for using MySQL! [root@slaver3 hadoop]#  下面使用客户端登录: ?

    1.9K70

    0916-5.16.2-如何将Hive元数据库从外部PostgreSQL转换到MySQL

    测试环境: • CDH5.16.2 • PostgreSQL9.6 • MySQL5.7.34 • Navicat Premium 2 Hive元数据库从PG转MySQL 从PostgreSQL中导出表的数据...,但是不导表结构,表结构通过CM去创建 2.1 创建Hive元数据库 1.在MySQL中创建Hive元数据库并授权 CREATE DATABASE hive_from_pg DEFAULT CHARACTER...“database”,修改数据库配置到MySQL库 3.在Hive -> Action中点击“创建 Hive Metastore 数据库表”来创建表结构 4.等待命令执行完成,在MySQL中查看Hive...自动创建的不一样,从PostgreSQL里导出的是varchar(5),Hive自动创建的是bigint(1),直接导入数据会报错。...剩下几张表next_txn_id、next_compaction_queue_id、next_lock_id报错不存在,Hive使用MySQL做元数据库不需要这几张表,也没影响。

    1.2K10

    MySQL数据库零基础入门教程:从安装配置到数据查询全掌握【MySQL系列】

    它使用结构化查询语言(SQL)进行数据库的管理和操作,广泛应用于网站开发、数据分析等领域。 1.2 MySQL的特点 开源免费:MySQL遵循GPL协议,用户可以自由使用和修改。...第2章:MySQL的安装与配置 2.1 Windows系统下的安装 2.1.1 下载MySQL安装包 选择适合Windows系统的安装包。...2.3.2 安装MySQL服务器 sudo apt install mysql-server 2.3.3 安全配置 sudo mysql_secure_installation 第3章:登录与使用MySQL...3.2 使用图形化工具登录 MySQL提供了图形化管理工具MySQL Workbench,用户可以通过该工具连接并管理数据库。...; ALTER USER 'root'@'localhost' IDENTIFIED BY 'newpassword'; 更多推荐:MySQL数据库从0到拿捏系列 MySQL数据库零基础入门教程:从安装配置到数据查询全掌握

    1.5K10

    理“ Druid 元数据”之乱

    由于Druid 能够同时提供离线和实时数据的查询,因此Druid最常用作为GUI分析、业务监控、实时数仓的数据存储系统。...四、 Druid元数据存储介质 Druid 根据自身不同的业务需要,把元数据存储在不同的存储介质中,为了提升查询性能,同时也会将所有元数据信息缓存在内存中。...4.3 内存 Druid为了提升元数据访问的效率会把元数据同步到内存,主要通过定时SQL 查询访问方式同步MySQL元数据或者使用Apache Curator Recipes实时同步Zookeeper上的元数据到内存如下图...segment,然后Broker作为客户端从Peon获取实时数据,从Historical获取历史数据,再根据查询要求,将两部分数据进一步聚合,如下图: 5.2 Druid 元数据具体业务逻辑 有了前面对...如下图虚线箭头表示元数据的传输,下面按照图中数字序号介绍每个虚线箭头两端组件与元数据存储介质(MySQL、Zookeeper)之间的元数据,每条具体从组件对元数据存储介质包含读和写两方面来介绍,如下:

    1.1K20

    基于docker快速搭建hive环境

    下表描述每个单元: 单元名称 操作 用户接口/界面 Hive是一个数据仓库基础工具软件,可以创建用户和HDFS之间互动。...元存储 Hive选择各自的数据库服务器,用以储存表,数据库,列模式或元数据表,它们的数据类型和HDFS映射。 HiveQL处理引擎 HiveQL类似于SQL的查询上Metastore模式信息。...2 Get Plan在驱动程序帮助下查询编译器,分析查询检查语法和查询计划或查询的要求。 3 Get Metadata编译器发送元数据请求到Metastore(任何数据库)。...中执行(有些查询没有MR任务,如:select * from table) Hadoop和Hive都是用UTF-8编码的 查询编译器(query complier),用云存储中的元数据来生成执行计划,步骤如下...环境说明 操作系统 docker版本 ip地址 配置 centos 7.6 19.03.12 192.168.31.229 4核8g 我们采用远程模式安装hive,也就是将Mysql数据库独立出来,将元数据保存在远端独立的

    5.3K20
    领券