hive 和mysql的使用 - 腾讯云开发者社区

文章/答案/技术大牛

发布

Apache-Hive 使用MySQL存储Hive的元数据

但是这样就会出现一个情况：Derby是单例的，当你在一个终端打开了hive时，在另外一个终端打开hive命令行会报错。所以使用MySQL来存储元数据能够解决这个问题，并且也更方便迁移和备份。...配置Mysql服务端安装Mysql服务器之后，你需要配置允许root用户的登录权限打开MySQL客户端 mysql -uroot -p 使用Mysql数据库 use mysql 查询user表 select...-8.0.21.jar，将jar包移动至 /opt/apache-hive-1.2.2-bin/lib 下配置Hive中MySQL的连接第一步，在Hive的conf目录中新建文件hive-site.xml...Hive的metastore 的MySQL数据库的字符集格式问题。...的数据表的初始化，按照上述第三步，在启动Hive前初始化下数据表即可：使用 schematool -dbType mysql -initSchema 命令进行初始化。

3.7K3 0

Hive Metastore 使用MySQL存储

Hive的metastore默认是存储在Derby数据库里面，只能用于单元测试，并且一次只能有一个进程连接到metastore的数据库。...所以在实际的应用中，需要将metastore存储在一些关系型数据库里面。 Hive支持MySQL，Postgres，Oracle，MS SQL Server这四种数据库。...配置Hive Metastore存储到MySQL 需要在hive-site.xml配置如下的参数 Config Param Config Value Comment javax.jdo.option.ConnectionURL...to MySQL server 打开$HIVE_HOME/conf下的hive-site.xml 添加上表中的配置到hive-site.xml中，如下图所示 WX20181116-231121@2x.png...然后使用Hive Schema Tool初始化Schema schematool -dbType mysql -initSchema 至此，我们就将Hive的Metastore存储到了MySQL中。

2.3K1 0

您找到你想要的搜索结果了吗？

是的

没有找到

Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

一、Hive的简单使用　　　　基本的命令和MySQL的命令差不多　　　　首先在 /opt/datas 下创建数据 students.txt 　　　　1001　　zhangsan 　　　　1002　　...二、安装Mysql 将Mysql安装包上传到服务器上，然后解压压缩包，使用命令:unzip mysql-libs.zip ?...配置好后执行一下 bin/hive 在mysql数据库中可以看见 hive给自动创建的数据库 ? 　　查看一下这个数据库中的表 ?...这个就是Hive的元数据所创建的四、Hive的基本使用 # 查看所有的数据库 show databases ; # 创建数据库 create database db_hive ; # 创建一张数据表...table db_hive.student ; # 查看Hive中支持的命令 show functions ; # 显示某个功能的用法 desc function upper ; # 对这个功能的使用来一个

1.5K4 0

2021年大数据Hive（二）：Hive的三种安装模式和MySQL搭配使用

Hive的三种安装模式和MySQL搭配使用一、Hive的安装方式 hive的安装一共有三种方式:内嵌模式、本地模式、远程模式元数据服务(metastore）作用是：客户端连接metastore服务...1、内嵌模式内嵌模式使用的是内嵌的Derby数据库来存储元数据，也不需要额外起Metastore服务。数据库和Metastore服务都嵌入在主Hive Server进程中。...远程模式的metastore服务和hive运行在不同的进程里。在生产环境中，建议用远程模式来配置Hive Metastore。...二、Hive的安装我们在此处选择第三台机器node3作为我们hive的安装机器，安装方式使用远程方式。.../dist/hive/ 2、下载mysql的安装包，我们使用的mysql版本是5.7.29,软件包为:mysql-5.7.29-linux-glibc2.12-x86_64.tar.gz 下载地址:https

4.7K3 1

配置Hive使用MySql存储元数据

配置Hive使用MySql存储元数据 2018-7-24 作者: 张子阳分类: 大数据处理默认情况下，Hive会使用Derby来存储元数据（主要是表、列、分区Partition的信息）。...Hive支持使用单独的数据库来存储元数据，比如MySql、PostgreSql等，本文将介绍如何配置Hive使用MySql存储元数据。本文假设你已经单机安装、配置好了MySql和Hive。...如果没有，可以参考下面两篇文章：使用Docker安装和配置MySql Linux上安装和配置Hive 安装MySql连接器前往：https://dev.mysql.com/downloads/connector...解压后，将mysql-connector-java-5.1.xx.jar，上传到Linux的 $HIVE_HOME/lib 文件夹下。...MySql来存储Hive元数据的配置。

4.5K5 0

大数据环境搭建-Hive和Mysql

5.7推荐使用ALTER USER修改密码 MySQL修改用户的密码主要有：ALTER USER 和UPDATE用户表 ALTER USER 推荐用此方式 mysql -uroot -p 连接上以后.../bigdata/ 复制Mysql连接的JAR cp mysql-connector-java-8.0.28.jar /data/tools/bigdata/apache-hive-2.3.9-bin/.../ 初始化库 Hive的数据库MySQL在安装的时候没有初始化在MySQL中 # 删除mysql中的元数据库 drop database metastore; # 新建一个元数据库 create database...HSQL 以下介绍常用的Hive的类SQL语句。...FROM sales JOIN things ON (sales.id = things.id); 查看hive为某个查询使用多少个MapReduce作业 Explain SELECT sales.,

1.7K2 0

spark on hive 配置hive的metastore为mysql

hive.metastore.uris Thrift uri for the remote metastore... javax.jdo.option.ConnectionURL jdbc:mysql:/.../localhost:3306/mysql?...password to use against metastore database 修改完后在spark中启动thriftserver，随后在spark的bin.../beeline -u jdbc:hive2://yangsy132:10000/default -n root -p yangsiyi

2.2K1 0

【Spark篇】---SparkSQL on Hive的配置和使用

配置hive的metastore路径 hive.metastore.uris thrift://node1:9083 2、启动Hive的metastore服务 hive --service metastore...4、启动SparkShell 读取Hive中的表总数，对比hive中查询同一表查询总数测试时间。 ....注意：如果使用Spark on Hive 查询数据时，出现错误： ?...Hive中的数据加载成DataFrame 1、HiveContext是SQLContext的子类，连接Hive建议使用HiveContext。

5.1K1 2

hive的partition的作用和使用方法

一、背景在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。...二、技术细节一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。表和列名不区分大小写。...Load操作只是将数据复制至Hive表对应的位置。数据加载时在表下自动创建一个目录，文件存放在该分区下。...基于分区的查询的语句： SELECT day_table.* FROM day_table WHERE day_table.dt>= '2008-08-08'; 查看分区语句： hive> show...总的说来partition就是辅助查询，缩小查询范围，加快数据的检索速度和对数据按照一定的规格和条件进行管理。

6.4K4 0

Hive篇--相关概念和使用二

一.基本概念 Hive分桶： 1.概念分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储。对于hive中每一个表、分区都可以进一步进行分桶。...2.设置 set hive.enforce.bucketing=true; 默认：false；设置为true之后，mr运行时会根据bucket的个数自动分配reduce task个数。...（用户也可以通过mapred.reduce.tasks自己设置reduce任务个数，但分桶时不推荐使用）注意：一次作业产生的桶（文件数量）和reduce task个数一致。...Lateral View概念作用： Lateral View用于和UDTF函数（explode、split）结合来使用。...主要解决在select使用UDTF做查询过程中，查询只能包含单个UDTF，不能包含其他字段、以及多个UDTF的问题语法： LATERAL VIEW udtf(expression) tableAlias

1K2 0

Hive Tips Hive使用技巧

也正因如此，Hive实际上是用来做计算的，而不像数据库是用作存储的，当然数据库也有很多计算功能，但一般并不建议在SQL中大量使用计算，把数据库只当作存储是一个很重要的原则。...1、使用UDF （a）如果是已经上传到Hive服务器的UDF，可以直接用 create temporary function dosomething as 'net.hesey.udf.DoSomething...2、编写UDF 编写UDF十分简单，引入hive-exec包，继承org.apache.hadoop.hive.ql.exec.UDF类，实现evaluate方法即可，方法的输入和输出参数类型就是当你在...Hive中调用时的输入和返回值。...七、排序在SQL中排序通过ORDER by实现，Hive中也支持这种语法，但是使用ORDER by时最终所有的数据会汇总到一个Reducer上进行排序，可能使得该Reducer压力非常大，任务长时间无法完成

1.7K8 0

Hive篇---Hive使用优化

一.前述本节主要描述Hive的优化使用，Hive的优化着重强调一个把Hive SQL 当做Mapreduce程序去优化二.主要优化点 1.Hive运行方式：本地模式集群模式本地模式开启本地模式...Distribute By - 分区排序，经常和Sort By结合使用（SortBy对于最后的分区排序） Cluster By - 相当于 Sort By + Distribute By （Cluster...，即对小表使用Map join）（默认左边的加载到内存中去）相关配置参数： hive.mapjoin.smalltable.filesize; （大表小表判断的阈值，如果表的大小小于该值则会被加载到内存中运行...; （将多个mapjoin转化为一个mapjoin时，其表的最大值） 6.Map-Side聚合（一般在聚合函数sum,count时使用）通过设置以下参数开启在Map端的聚合： set hive.map.aggr...端聚合使用的内存的最大值 hive.map.aggr.hash.force.flush.memory.threshold： map端做聚合操作是hash表的最大可用内容，大于该值则会触发flush hive.groupby.skewindata

4.1K1 1

如何使用StreamSets从MySQL增量更新数据到Hive

中安装和使用StreamSets》，通过StreamSets实现数据采集，在实际生产中需要实时捕获MySQL、Oracle等其他数据源的变化数据（简称CDC）将变化数据实时的写入大数据平台的Hive、HDFS...本篇文章主要介绍如何使用使用StreamSets通过JDBC的方式实时抽取增量数据到Hive。 StreamSets实现的流程如下： ?...4.添加Hive Metadata 将JDBC 链接到 Hive Metadata 配置hive 的JDBC URL ? ? 配置数据库和要生成的表名,这里我们没有分区，删掉分区 ?...去HUE 中查看hive 表的数据，跟mysql 中同步，说明增量更新成功 ?...温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

16.3K13 0

Hive安装Mysql安装

在集群上运行hbase的jar程序时报找不到scan的类库，输入 export HADOOP_CLASSPATH=$HBASE_HOME/lib/*:$CLASSPATH 安装mysql 1.先删除linux...[y/N]：y 2.下载 mysql57-community-release-el7-8.noarch.rpm 的 YUM 源： wget http://repo.mysql.com/mysql57-...6.启动mysql service mysqld start 7.查看root的默认密码 cat /var/log/mysqld.log | grep password 8.登录mysql mysql...-uroot -p 9.修改root的默认密码 alter user 'root'@'localhost' identified by 'Www_110'; 10.创建hive的数据库 create...database hive; 11.创建一个用户，一般操作不要用root create user 'hiveme'@'%' identified by 'Www_110'; 12.给刚创建的用户授权 grant

6.8K2 0

大数据技术之_08_Hive学习_01_Hive入门+Hive安装、配置和使用+Hive数据类型

默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore。 3、Hadoop 使用HDFS进行存储，使用MapReduce进行计算。...1.4.7 可扩展性由于 Hive 是建立在 Hadoop 之上的，因此 Hive 的可扩展性是和 Hadoop 的可扩展性是一致的（世界上最大的 Hadoop 集群在 Yahoo!...第2章 Hive安装、配置和使用 2.1 Hive安装地址 1、Hive官网地址 http://hive.apache.org/ ?...原因是：Metastore（元数据）默认存储在自带的derby数据库中，derby数据库是单一用户的，所以推荐使用MySQL存储Metastore。...ARRAY和MAP与Java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。

1.4K6 1

五、Hive数据类型和简单使用

Hive使用的语句是Hql，和sql百分之九十都是相近的，因此，只要对SQL比较熟悉的，Hql基本不用怎么学。...这些元素可以通过"点语法"的方式来得到所需要的元素「时间类型」 Date：从Hive0.12.0开始支持 Timestamp：从Hive0.8.0开始支持常用DDL操作查看数据列表 show databases...创建一个数据库，可以指定数据库在 HDFS 上存放的位置 hive > CREATE DATABASE hive_test location '/db_hive.db'; 查看数据库信息语法： DESC...要想删除库及其中的表，可以使用 CASCADE 级联删除。...1 Runsen 2 Zhangsan 3 Lisi 除了可以将本地文件导入到HIve中，我们先把文件上传到HDFS，然后使用HDFS将数据导入到Hive中。

6891 0

Hive的使用-Thrift服务

Hive Thrift服务 1.启动Thrift为前台服务： bin/hiveserver2 2.启动为后台服务： nohup bin/hiveserver2 \ 1>/var/log/hiveserver.log...\ 2>/var/log/hiveserver.err & 3.启动成功后，可以在别的节点上用beeline去连接方式1 hive/bin/beeline 回车，进入beeline的命令界面...connect jdbc:hive2://mini1:10000，安装提示输入用户名与密码（默认回车）方式2 或者启动就连接： bin/beeline -u jdbc:hive2://mini1...:10000 -n username mini1是hiveserver2所启动的那台主机名，端口默认是10000， username是启动hive服务那个用户名=>50070管理页面的Browse Directory...页面=>Owner用户名 4.接下来就可以和Hive Shell那样做正常SQL查询了。

1.8K7 0

Hive常用函数的使用

Hive将用户定义的库、表结构等信息存储hive的元数据库（可以是本地derby，也可以是远程mysql）中。...hdfs 和yarn 2 使用方式 2.1 方式1：直接使用hive服务端输入命令 $ hive即可： hadoop@Master:~$ hive SLF4J: Class path contains...加入如下内容： set hive.cli.print.current.db=true; set hive.cli.print.header=true; 2.2 方式2：使用beeline客户端将hive...启动为一个服务端，然后可以在任意一台机器上使用beeline客户端连接hive服务，进行交互式查询 hive是一个单机的服务端可以在任何一台机器里安装，它访问的是hdfs集群。...hive -e "sql1;sql2;sql3;sql4" 另外，还可以使用 hive -f命令。

1.8K2 0

Hive和HBase的区别

Hive可以看作是用户编程接口，它本身不存储和计算数据；它依赖于HDFS(Hadoop分布式文件系统)和MapReduce(一种编程模型，映射与化简；用于大数据并行运算)。...而MapReduce开发人员可以把己写的mapper 和reducer 作为插件来支持Hive 做更复杂的数据分析。 HBase是什么？...HBase以表的形式存储数据，表由行和列组成，列划分为若干个列簇(row family)。例如：一个消息列簇包含了发送者、接受者、发送日期、消息标题以及消息内容。...而在HBase中每一行代表由行键标识的键值映射组合。Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。...Hive是一种能执行MapReduce作业的类SQL编程接口，Hbase是一种非关系型的数据库结构。结合这两者自身的特点，互相结合使用或许能收到相得益彰的效果。

1K2 0

Hive基础03、Hive基本库使用

Hive基础03、Hive基本使用目录 1、查看hive数据库 2、进入Hive 3、库操作 ---- 1、查看hive数据库登录MySQL数据库 mysql -u root -p 密码【123456...】查看【hive】数据库 show databases; 效果如下图： use hive; show tables; 2、进入Hive hive 3、库操作注：【exit;】可以推出状态...show databases; 4、基本操作查看当前数据库：set hive.cli.print.current.db = true; 创建数据库：create database testdb1...; 查看所有数据库：show databases; 使用指定数据库：use testdb1; 删除数据库：drop database testdb1; set hive.cli.print.current.db

7134 0

点击加载更多

Apache-Hive 使用MySQL存储Hive的元数据

Hive Metastore 使用MySQL存储

Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

2021年大数据Hive（二）：Hive的三种安装模式和MySQL搭配使用

配置Hive使用MySql存储元数据

大数据环境搭建-Hive和Mysql

spark on hive 配置hive的metastore为mysql

【Spark篇】---SparkSQL on Hive的配置和使用

hive的partition的作用和使用方法

Hive篇--相关概念和使用二

Hive Tips Hive使用技巧

Hive篇---Hive使用优化

如何使用StreamSets从MySQL增量更新数据到Hive

Hive安装Mysql安装

大数据技术之_08_Hive学习_01_Hive入门+Hive安装、配置和使用+Hive数据类型

五、Hive数据类型和简单使用

Hive的使用-Thrift服务

Hive常用函数的使用

Hive和HBase的区别

Hive基础03、Hive基本库使用

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐