hive使用mysql数据库 - 腾讯云开发者社区

文章/答案/技术大牛

发布

Hive Metastore 使用MySQL存储

Hive的metastore默认是存储在Derby数据库里面，只能用于单元测试，并且一次只能有一个进程连接到metastore的数据库。...所以在实际的应用中，需要将metastore存储在一些关系型数据库里面。 Hive支持MySQL，Postgres，Oracle，MS SQL Server这四种数据库。...配置Hive Metastore存储到MySQL 需要在hive-site.xml配置如下的参数 Config Param Config Value Comment javax.jdo.option.ConnectionURL...to MySQL server 打开$HIVE_HOME/conf下的hive-site.xml 添加上表中的配置到hive-site.xml中，如下图所示 WX20181116-231121@2x.png...然后使用Hive Schema Tool初始化Schema schematool -dbType mysql -initSchema 至此，我们就将Hive的Metastore存储到了MySQL中。

2.2K1 0

Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

一、Hive的简单使用　　　　基本的命令和MySQL的命令差不多　　　　首先在 /opt/datas 下创建数据 students.txt 　　　　1001　　zhangsan 　　　　1002　　...lisi 　　　　1003　　wangwu 显示有多少数据库: show databases; 　　　　　　使用某个数据库: use 数据库名称;...二、安装Mysql 将Mysql安装包上传到服务器上，然后解压压缩包，使用命令:unzip mysql-libs.zip ?...配置好后执行一下 bin/hive 在mysql数据库中可以看见 hive给自动创建的数据库 ? 　　查看一下这个数据库中的表 ?...这个就是Hive的元数据所创建的四、Hive的基本使用 # 查看所有的数据库 show databases ; # 创建数据库 create database db_hive ; # 创建一张数据表

1.4K4 0

您找到你想要的搜索结果了吗？

是的

没有找到

Apache-Hive 使用MySQL存储Hive的元数据

默认情况下，Hive的元数据是存储到Derby中的，这是Apache的一个纯Java编写的小巧数据库，类似于Sqlite。...但是这样就会出现一个情况：Derby是单例的，当你在一个终端打开了hive时，在另外一个终端打开hive命令行会报错。所以使用MySQL来存储元数据能够解决这个问题，并且也更方便迁移和备份。...配置Mysql服务端安装Mysql服务器之后，你需要配置允许root用户的登录权限打开MySQL客户端 mysql -uroot -p 使用Mysql数据库 use mysql 查询user表 select...2、配置MySQL后，第一次打开hive的时候Cli无响应：这个问题查阅了很多资料并没有找到更加详细的信息，但是经过DEBUG初步判断还是MySQL数据库的问题，导致Hive第一次启动时无法正常完成Metastore...的数据表的初始化，按照上述第三步，在启动Hive前初始化下数据表即可：使用 schematool -dbType mysql -initSchema 命令进行初始化。

3.6K3 0

配置Hive使用MySql存储元数据

配置Hive使用MySql存储元数据 2018-7-24 作者: 张子阳分类: 大数据处理默认情况下，Hive会使用Derby来存储元数据（主要是表、列、分区Partition的信息）。...Hive支持使用单独的数据库来存储元数据，比如MySql、PostgreSql等，本文将介绍如何配置Hive使用MySql存储元数据。本文假设你已经单机安装、配置好了MySql和Hive。...如果没有，可以参考下面两篇文章：使用Docker安装和配置MySql Linux上安装和配置Hive 安装MySql连接器前往：https://dev.mysql.com/downloads/connector...的数据库（也可以在hive-site.xml中将其修改为其他名字）。...这个时候，可以登录到mysql，删除掉hive_metastore数据库，然后执行一下下面的命令，重新初始化一下元数据库： # schematool --dbType mysql --initSchema

4.4K5 0

Hortonworks中修改Hive使用postgresql数据库

首先停止Hive服务从Ambari管理界面上停止Hive服务修改Hive配置在Hive -> Configs -> Advanced中，将数据库改为使用已存在的postgresql数据库，然后修改数据库用户...，密码和数据库名称。...创建用户和数据库使用postgres用户连接postgresql数据库 > psql -U postgres postgres=# CREATE USER hive WITH PASSWORD 'hive...'; postgres=# CREATE DATABASE hive OWNER hive ENCODING 'UTF8'; 安装驱动 sudo yum install postgresql-jdbc*...sudo systemctl restart postgresql.service 启动Hive服务从Ambari管理界面上启动Hive服务

1.5K1 0

为 Hive 配置 postgres 或 MySQL 作为元数据库

Hive的元数据默认使用derby作为存储DB，derby作为轻量级的DB，在开发、测试过程中使用比较方便，但是在实际的生产环境中，还需要考虑易用性、容灾、稳定性以及各种监控、运维工具等，这些都是derby...MySQL和PostgreSQL是两个比较常用的开源数据库系统，在生产环境中比较多的用来替换derby，并且强烈推荐这么做。下面就来介绍如何配置Pg或MySQL来作为Hive元数据库。...组件，ambari会提示如果需要使用postgresql数据库，需使用以下命令来加载驱动： ambari-server setup --jdbc-db=postgres --jdbc-driver=/path...MySQL 如果需要使用MySQL作为metastore后台数据，按照以下步骤进行配置。安装同样，选择一个合适的节点。...ln -s /usr/share/java/mysql-connector-java-5.1.45.jar /PATH/TO/HIVE/lib 安装Hive 在ambari上持续点击下一步，配置数据库

4K2 0

Hive Tips Hive使用技巧

首先，Hive != SQL，虽然二者的语法很像，但是Hive最终会被转化成MapReduce的代码去执行，所以数据库的优化原则基本上都不适用于 Hive。...也正因如此，Hive实际上是用来做计算的，而不像数据库是用作存储的，当然数据库也有很多计算功能，但一般并不建议在SQL中大量使用计算，把数据库只当作存储是一个很重要的原则。...一、善用临时表在处理海量数据时我们通常会对很多大表进行操作，基于Hadoop现在的局限性，不能像分布式并行数据库那样很好地在分布式环境利用数据局部性，Hadoop对于大表只能全表扫描并筛选数据，而每一次对大表的扫描都是苦不堪言的...1、使用UDF （a）如果是已经上传到Hive服务器的UDF，可以直接用 create temporary function dosomething as 'net.hesey.udf.DoSomething...七、排序在SQL中排序通过ORDER by实现，Hive中也支持这种语法，但是使用ORDER by时最终所有的数据会汇总到一个Reducer上进行排序，可能使得该Reducer压力非常大，任务长时间无法完成

1.6K8 0

Hive篇---Hive使用优化

一.前述本节主要描述Hive的优化使用，Hive的优化着重强调一个把Hive SQL 当做Mapreduce程序去优化二.主要优化点 1.Hive运行方式：本地模式集群模式本地模式开启本地模式...严格模式下，必须结合limit来使用） Sort By - 对于单个reduce的数据进行排序（这样最后的数据有可能排序结果不准！！！！）...= true; （该参数为true时，Hive自动对左边的表统计量，如果是小表就加入内存，即对小表使用Map join）（默认左边的加载到内存中去）相关配置参数： hive.mapjoin.smalltable.filesize...sum,count时使用）通过设置以下参数开启在Map端的聚合： set hive.map.aggr=true; 相关配置参数： hive.groupby.mapaggr.checkinterval...若聚合之后的数据量/100000的值大于该配置0.5，则不会聚合） hive.map.aggr.hash.percentmemory： map端聚合使用的内存的最大值 hive.map.aggr.hash.force.flush.memory.threshold

4.1K1 1

Hive安装Mysql安装

-uroot -p 9.修改root的默认密码 alter user 'root'@'localhost' identified by 'Www_110'; 10.创建hive的数据库 create...生效 source /etc/profile 3.配置hive-site.xml 先生成一个hive-site.xml cp hive-default.xml.template hive-site.xml...schematool -dbType mysql -initSchema 5.找不到jar org.apache.hadoop.hive.metastore.HiveMetaException: Failed...https://downloads.mysql.com/archives/c-j/ 下载解压获取jar 7.复制jar到hive到lib scp -r /Users/hh/desktop/mysql-connector-java...-5.1.46-bin.jar hh555:/root/hd/apache-hive-2.3.3-bin/lib/ 8.再次重新初始化mysql schematool -dbType mysql -initSchema

6.7K2 0

spark on hive 配置hive的metastore为mysql

hive.metastore.uris Thrift uri for the remote metastore... javax.jdo.option.ConnectionURL jdbc:mysql:/.../localhost:3306/mysql?...=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver.../beeline -u jdbc:hive2://yangsy132:10000/default -n root -p yangsiyi

2.1K1 0

如何使用StreamSets从MySQL增量更新数据到Hive

本篇文章主要介绍如何使用使用StreamSets通过JDBC的方式实时抽取增量数据到Hive。 StreamSets实现的流程如下： ?...4.添加Hive Metadata 将JDBC 链接到 Hive Metadata 配置hive 的JDBC URL ? ? 配置数据库和要生成的表名,这里我们没有分区，删掉分区 ?...Hive Metastore ? 8.校验并执行点击校验，返回成功后点击执行 ? 执行后可以看到有2条数据输入和输出，这与我们测试数据库的数据相符合 ?...去HUE 页面查看hive 表中的数据，发现已经更新进来 ? 4.Pipeline流程测试 ---- 1.去mysql 中增加数据并查看 ? 查看管道流信息发现输入输出数量变成了4 ?...去HUE 中查看hive 表的数据，跟mysql 中同步，说明增量更新成功 ?

16.2K13 0

【解决】Hive 使用 mysql 作为 metastore 元数据库时UTF-8编码的问题原

在最最初配置 MySQL 数据库的时候，就设置成 UTF-8 的编码 sudo vim /etc/my.cnf [3hzjs83bsi.png] 然后在 metastore 库生成后，如果直接用 hive...too long; max key length is 767 bytes，是因为此时的 metastore 库的编码是UTF-8，这时我们把 metastore 的编码修改为 latin1，然后重启 MySQL...数据库，就OK了，使用 hive 创建表或库的相关中文注释也可以正常显示了，不影响其他库，其他表的中文注释。...# 修改数据库 metastore 的编码为 latin1 alter database metastore character set latin1; # 重启 mysql 数据库 sudo service

2.3K5 0

【MySQL】MySQL数据库的初阶使用

ls /var/lib/mysql中的内容是上一个mysql数据库中所残留的数据，MySQL服务在卸载的时候，默认不会将数据删除掉，这些数据我们可以不用管，他们并不影响我们后续MySQL服务的安装和使用...服务器是数据库的管理者，负责存储，管理，维护数据库中的数据，同时MySQL支持多种客户端的连接方式，除了我们现在所使用的命令行式的客户端连接方式外，还支持图形化界面workbench，以及语言级别的API...数据库的重命名MySQL是不支持的，并且这是非常合理的，因为数据库的名字是量级很重的，一旦数据库的名字发生改变，则上层所有使用数据库的代码都需要做出调整，代价特别大，所以一般在项目前期讨论协商的时候，一定要确定好数据库的命名等工作...如果备份一个数据库时，没有带上-B参数，在恢复数据库时，需要先创建空数据库，然后使用数据库，再使用source来还原。...所以在MySQL中，数据类型本身也是一种约束，约束使用者进行合法数据的插入，通过这样的约束就可以保证数据库里面数据的可预期性和完整性。 3.

2.6K3 0

【MySQL】MySQL数据库的进阶使用

一、MySQL基本查询 1.对表内容进行Create(增加) 1.1 insert语句的使用 1. 之前我们所学的都是DDL语句，接下来所学的才是真正的DML语句。...，因为索引只能提升部分数据的查询，查询的数据一旦涉及到索引中没有包含的列字段，则此时就无法使用B+索引结构来优化查询的速度，数据库系统只能遍历整个表的所有行来进行查找，这会大大降低查询速度。...除此之外，实际公司使用的MySQL数据库，存储的数据最少也几百万条记录打底，一旦全列查询，则查询结果会疯狂刷屏到显示器上，看也没法看，而且还有可能导致mysqld服务卡死，所以平常我们自己敲一些简单的数据库...对未知表进行查询时，最好进行分页显示，这样可以避免表中数据过大时，导致查询全表数据致使数据库卡死。...4.其他函数下面是MySQL中一些常见的其他函数，可以自己看一下使用案例。

2.8K2 0

hive基本使用

，库和表的元数据信息一般存在关系型数据库上（比如MySQL）数据存储方面：它能够存储很大的数据集，并且对数据完整性、格式要求并不严格数据处理方面：因为Hive语句最终会生成MapReduce任务去计算...MySQL这种关系型数据库上的，Hive和MySQL之间通过MetaStore服务交互元数据项说明 Owner 库、表的所属者 LastAccessTime 最后修改时间 Table Type 表类型...HDFS上创建一个目录，Hive里数据库的概念类似于程序中的命名空间，用数据库来组织表，在大量Hive的情况下，用数据库来分开可以避免表名冲突。...hive> describe database user_db; 数据库名称数据库在HDFS的目录 HDFS用户名称删除、切换数据库与mysql命令一样(drop、use) 创建表创建表一般有几种方式...#### 排序 ##### Order By order by 的使用与mysql一样，对查询结果进行全局排序，但是Hive语句会放在Hadoop集群中进行MapReduce，如果数据集过大Reduce

1.3K2 0

Django——使用MySQL数据库

DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', # 选择数据库为MySQL...# 主机地址 'PORT': 3306, # 数据库服务端口，MySQL是3306 'USER': 'root...} } 为了能够使用MySQL，你还需要在__init__.py文件中做如下修改。...import pymysql pymysql.install_as_MySQLdb() 然后在MySQL中创建名为login的数据库。 ? 最后，在数据库中加入两条数据。...（加入数据，你使用可视化工具也好，使用SQL语句也行，都没有任何问题） ? 做完这些以后，别忘了数据库迁移。

4.2K1 0

MySQL数据库安装使用

关系型数据库：非关系型数据库： MySQL是一个关系型数据库管理系统，目前属于 Oracle 旗下产品，MySQL 是最流行的关系型数据库管理系统中的一个。...首先找到mysql的安装目录，并且定位到mysql文件，将地址栏内容进行复制。...MySQL是一个需要账户名密码登录的数据库，登陆后使用，它提供了一个默认的root账号，使用安装时设置的密码即可登录： mysql -uroot –p密码 SQL语句结构化查询语言(Structured...having与where的区别: having是在分组后对数据进行过滤，where是在分组前对数据进行过滤 having后面可以使用分组函数(统计函数)，where后面不可以使用分组函数。...的安装和简单的使用了。

1.8K1 0

Django使用MySQL数据库

Django使用MySQL数据库 Django默认使用sqlite3作为数据库，web服务一般不会使用sqlite作为数据库，下面是在Django中使用mysql数据库的配置步骤。...在settings.py文件进行配置 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'HOST': '...'root', # 用户名 'PASSWORD': '123456', # 密码 'NAME': 'book', # 数据库名

3.1K2 0

hive数据库数据类型_hive decimal类型

使用CHAR类型定义变量时，如果没有指定则默认值为1。需要注意的是，在PL/SQL块中，使用该数据类型操纵CHAR表列时，其数值的长度不应超过2000字节。...使用VARCHAR2类型定义变量时，必须指定的值。需要注意的是，在PL/SQL块中，使用该数据类型操纵VARCHAR2表列时，其数值的长度不应超过4000字节。...Oracle就对小数点左边的s个数字进行舍入例：12345.345 NUMBER(5,-2) 12300 Number与int,float等数据类型的区别 oracle本没有int类型，为了与别的数据库兼容

2.8K2 0

Hive+Sqoop+Mysql整合

我们对采集的数据进行分析，处理，最后把结果保存到mysql数据库中供Web UI显示监控点/摄像头状态。工作流程如下： ?.../ vi hive_to_mysql_for_vehicle export --connect jdbc:mysql://node1:3306/sqoop_db --username root --...QAZ2wsx3edc use sqoop_db; --如果有则删除 DROP TABLE IF EXISTS t_hive_to_mysql_for_vehicle; CREATE TABLE t_hive_to_mysql_for_vehicle.../vehicle_dir/hive_to_mysql_for_vehicle echo 'done.'.../hive_to_mysql_vehicle.sh 9.结果 9.1.执行脚本前，检查mysql table --执行脚本之前，查询t_hive_to_mysql_for_vehicle mysql>

3.1K2 0

点击加载更多

Hive Metastore 使用MySQL存储

Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

Apache-Hive 使用MySQL存储Hive的元数据

配置Hive使用MySql存储元数据

Hortonworks中修改Hive使用postgresql数据库

为 Hive 配置 postgres 或 MySQL 作为元数据库

Hive Tips Hive使用技巧

Hive篇---Hive使用优化

Hive安装Mysql安装

spark on hive 配置hive的metastore为mysql

如何使用StreamSets从MySQL增量更新数据到Hive

【解决】Hive 使用 mysql 作为 metastore 元数据库时UTF-8编码的问题原

【MySQL】MySQL数据库的初阶使用

【MySQL】MySQL数据库的进阶使用

hive基本使用

Django——使用MySQL数据库

MySQL数据库安装使用

Django使用MySQL数据库

hive数据库数据类型_hive decimal类型

Hive+Sqoop+Mysql整合

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐