hive mysql配置 - 腾讯云开发者社区

文章/答案/技术大牛

发布

Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

OK,退出Mysql之后在重新登录一下，登录成功！三、Hive配置metastore 　　　首先进入到Hive的安装目录中 /opt/moudles/hive-..... 　　　...创建一个文件 hive-site.xml 想里面配置连接Mysql的数据信息账号密码连接地址、驱动（这个驱动需要拷贝过来）配置好后执行一下 bin/hive 在mysql数据库中可以看见 hive给自动创建的数据库 ? 　　查看一下这个数据库中的表 ?...upper ; # 测试这个函数 select id ,upper(name) uname from db_hive.student ; 五、配置Hive的日志　　将Hive安装目录中conf下的...修改Hive日志的存放地址，（在Hive的安装目录中创建logs文件夹用来存放日志,然后配置 hive-log4j.properties 中的 hive.log.dir hive.log.threshold

1.4K4 0

spark on hive 配置hive的metastore为mysql

hive.metastore.uris Thrift uri for the remote metastore... javax.jdo.option.ConnectionURL jdbc:mysql:/.../localhost:3306/mysql?...=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver.../beeline -u jdbc:hive2://yangsy132:10000/default -n root -p yangsiyi

2.1K1 0

您找到你想要的搜索结果了吗？

是的

没有找到

配置Hive使用MySql存储元数据

配置Hive使用MySql存储元数据 2018-7-24 作者: 张子阳分类: 大数据处理默认情况下，Hive会使用Derby来存储元数据（主要是表、列、分区Partition的信息）。...Hive支持使用单独的数据库来存储元数据，比如MySql、PostgreSql等，本文将介绍如何配置Hive使用MySql存储元数据。本文假设你已经单机安装、配置好了MySql和Hive。...如果没有，可以参考下面两篇文章：使用Docker安装和配置MySql Linux上安装和配置Hive 安装MySql连接器前往：https://dev.mysql.com/downloads/connector...配置hive-site.xml hive-site.xml用于配置Hive的各个参数，位于$HIVE_HOME/conf文件夹下。...MySql来存储Hive元数据的配置。

4.4K5 0

配置hive的元数据到Mysql中

在hive的安装目录下，进入conf目录，创建一个hive-site.xml文件根据官方文档配置参数，拷贝数据到hive-site.xml文件中 https://cwiki.apache.org/confluence...> javax.jdo.option.ConnectionURL jdbc:mysql://hostname...驱动复制到hive的lib目录里。...（这有关上一篇安装MySQL的内容）解压驱动包 ? 将mysql驱动复制到hive的lib目录里 ?...启动hive（别忘了先启动hdfs和yarn~~） start-dfs.sh start-yarn.sh hive 创建一张表，试试看元数据能否保存到MySQL里 ?

1.6K2 0

Hive快速入门系列(4) | 如何将Hive元数据配置到MySql

上一篇博文我们讲了怎样安装MySql，这篇文章为上篇的后续，此篇文章讲的是如何将Hive元数据配置到MySql。本系列所用到的安装包博主已经上传到百度云盘中，如有需要的可以自取。...配置Metastore到MySql 2.1 在/opt/module/hive/conf目录下创建一个hive-site.xml 在这个时候就可以转换成hadoop用户了 [bigdata@hadoop001...根据官方文档配置参数，拷贝数据到hive-site.xml文件中 https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin...配置完毕后，如果启动hive异常，可以重新启动虚拟机。（重启后，别忘了启动hadoop集群） 2.3 测试启动 [bigdata@hadoop001 hive]$ bin/hive ? 三....[bigdata@hadoop001 hive]$ bin/hive 3.3 启动hive后，回到MySQL窗口查看数据库，显示增加了metastore数据库 mysql> show databases

1.6K2 0

Hive配置安装

关于Hive的配置 1....安装Mysql 在集群中选择一台节点进行安装mysql yum -y install mariadb-server mariadb 开启服务并配置开机自启 systemctl start...Hive的配置 hive只需要在一节点安装（服务端）即可根据对应hadoop版本下载软件包上传并解压到节点配置环境变量修改配置文件 cd .....> jdbc:mysql://hadoop1:3306/hive?.../lib下的jline2.12拷贝到hadoop下的share/hadoop/yarn/lib/下，若存在旧版本就替换掉 # 6.把mysql-connector这个jar包，拷贝到hive下的lib下

1.1K2 0

hive hwi配置

hdp 2.4 对应的hive版本是1.2.1如果是hdp 2.4 以及以下的版本安装hive hwi的方法： 1.先安装ant Hive Web UI内部是需要Ant来进行编译的，所以需要事先安装ant...解压tar -zxvf apache-ant-1.9.7-bin.tar.gz mv apache-ant-1.9.7 /usr mv apache-ant-1.9.7 ant-1.9.7 配置环境变量...cp hive-hwi-2.1.0.war ${HIVE_HOME}/lib 修改hive的配置文件hive-site.xml(这个一般是你自己创建的，有可能是创建空的、也有可能是从hive-default.xml.template... 上面的步骤都配置完，基本就大功告成了。...nohup bin/hive --service hwi > /dev/null 2> /dev/null & 前面配置了端口号为9999，所以这里直接在浏览器中输入: localhost:9999/hwi

5334 0

Hive权限配置

背景EMR集群新增Hive-beeline权限管控操作1.默认的权限对表的控制权限只有下面四种。...配置方式hive-site.xml配置(控制台配置)hive.security.authorization.enabledtruehive.users.in.admin.rolehadoophive.security.metastore.authorization.manager...hiveserver2-site.xml配置(机器上新增/usr/local/services/hive/conf/hiveserver2-site.xml,且赋予...权限介绍beeline登录hive（使用admin账号：hadoop）beeline -u "jdbc:hive2://localhost:7001/" -n hadoop -p hadoop切换当前用户为

1.1K3 0

hadoop集群配置之hive1.2.0安装部署（远程mysql）

hadoop的版本是2.6.0 根据hive的源数据不同分为三种模式 1、内嵌模式，使用自带的derby 2、本地独立模式，本地mysql库 3、远程模式，远程mysql库...为了一次性成功，在hive主目录下找到conf文件夹下的hive_env.sh，将其中得HADOOP_HOME和HIVE_CONF_DIR放开并怕配置 # Set HADOOP_HOME to point...得配置完成，在远程主机上安装mysql，远程主机可以是任意操作系统，我这里用的是win7-x64，安装完成后新建数据库名为hive，字符集采用latin1，回到centos7，找到hive主目录下得lib...还有个web图形界面，这里补充一下配置首先停掉matestore服务，然后在hive-site.xml加入如下配置 hive.hwi.war.filehive-0.3.0，将其中lib下得hive-hwi-0.3.0.war拷贝到hive安装目录下得lib里，当然参照刚才得配置还要修改一下名字，回到主目录打开命令行，输入如下命令： bin

1.4K3 0

为 Hive 配置 postgres 或 MySQL 作为元数据库

MySQL和PostgreSQL是两个比较常用的开源数据库系统，在生产环境中比较多的用来替换derby，并且强烈推荐这么做。下面就来介绍如何配置Pg或MySQL来作为Hive元数据库。...MySQL 如果需要使用MySQL作为metastore后台数据，按照以下步骤进行配置。安装同样，选择一个合适的节点。...ln -s /usr/share/java/mysql-connector-java-5.1.45.jar /PATH/TO/HIVE/lib 安装Hive 在ambari上持续点击下一步，配置数据库.../PATH/TO/HIVE/bin/schematool -dbType mysql -initSchema 最后证实该步骤不进行也可以正常运行。...以上就是配置Hive元数据库的基本过程，如有疑问，可以给我留言。

4K2 0

Hive-配置安装

-bin/ hive-3.1.2 3、在·conf·目录下添加Hadoop安装路径mv hive-env.sh.template hive-env.sh # 配置HADOOP_HOME路径 export...HADOOP_HOME=/opt/module/hadoop-2.7.2 # 配置HIVE_CONF_DIR路径 export HIVE_CONF_DIR=/opt/module/hive/conf...=$PATH:$HIVE_HOME/bin export HIVE_CONF_DIR=$HIVE_HOME/conf 二、将Hive元数据配置到MySql Hive Metastore服务将Hive表和分区的元数据存储在关系数据库中...Metastore默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore; 1、解压驱动包tar -zxvf mysql-connector-java-5.1.49.tar.gz...2、驱动拷贝cp mysql-connector-java-5.1.49-bin.jar /usr/local/apps/hive-3.1.2/lib 3、vim hive-site.xml <?

1.1K2 0

Hive常见属性配置

Hive数据仓库位置配置 1）Default 数据仓库的最原始位置是在 hdfs 上的：/user/hive/warehouse 路径下。...g+w /user/hive/warehouse 2.查询后信息显示配置 1）在 hive-site.xml 文件中添加如下配置信息，就可以实现显示当前数据库，以及查询表的头信息配置。...hive.log.dir=/opt/module/hive/logs 3.参数配置方式 (1)查看当前所有的配置信息 hive>set; (2)参数的配置三种方式 1.1配置文件方式默认配置文件...：hive-default.xml 用户自定义配置文件：hive-site.xml 注意：用户自定义配置会覆盖默认配置。...另外，Hive 也会读入 Hadoop 的配置，因为 Hive 是作为 Hadoop 的客户端启动的，Hive 的配置会覆盖 Hadoop 的配置。

3101 0

Hive 安装与配置

配置使用如下命令根据模板创建配置文件： cp hive-default.xml.template hive-site.xml 有了配置文件之后我们修改默认配置，重点修改如下几个配置： /user/hive/warehouse 除了修改上述配置之外，我们还需要添加如下两个配置： ...Hive元数据这里我们使用 MySQL 存储 Hive 元数据使用如下命令将 MySQL 驱动包复制到 lib 目录下： cp mysql-connector-java-8.0.17/mysql-connector-java...-8.0.17.jar /opt/hive/lib/ 在这我们已经提前下载好驱动包创建存储 Hive 元数据的数据库 hive_meta： mysql> create database hive_meta...设置环境变量在 /etc/profile 配置文件下添加如下配置： # Hive export HIVE_HOME=/opt/hive export PATH=${HIVE_HOME}/bin:$PATH

1.2K1 0

hive中配置hwi

vi $HIVE_HOME/conf/hive-site.xml 配置如下 hive.hwi.listen.host 192.168.0.118... This is the host address the Hive Web Interface will listen on... hive.hwi.listen.port 9999 ...>hive.hwi.war.file lib/hive-hwi-0.8.1.war This is the WAR file...with the jsp content for Hive Web Interface 执行hadoop@ubuntu118:~$ hive --

1K6 0

安装和配置Hive

这篇文章记录了如何在linux上安装hive。因为hive基于Hadoop，所以需要先安装Hadoop，如果你还没有安装Hadoop，可以参考linux上安装和配置Hadoop(单节点)进行安装。...默认情况下hive使用derby数据库将元信息保存在本地，一种更常见的做法是保存到mysql数据库，具体操作可以查看这里：配置Hive使用MySql存储元数据。...可以查看 $HIVE_HOME/conf/下的hive-default.xml.template，它是Hive的默认配置文件。...如果想要重写配置，则可以在$HIVE_HOME/conf下新建一个hive-site.xml文件。...在hive-default.xml.template中搜索hive.metastore.warehouse.dir配置项，可以看到如下的配置： hive.metastore.warehouse.dir

2.4K3 0

Hive安装Mysql安装

'; Hive安装 1.官网下载安装包，上传到服务器，解压 2.配置环境变量 vim /etc/profile export HIVE_HOME=/root/hd/apache-hive-2.3.3...生效 source /etc/profile 3.配置hive-site.xml 先生成一个hive-site.xml cp hive-default.xml.template hive-site.xml...schematool -dbType mysql -initSchema 5.找不到jar org.apache.hadoop.hive.metastore.HiveMetaException: Failed...https://downloads.mysql.com/archives/c-j/ 下载解压获取jar 7.复制jar到hive到lib scp -r /Users/hh/desktop/mysql-connector-java...-5.1.46-bin.jar hh555:/root/hd/apache-hive-2.3.3-bin/lib/ 8.再次重新初始化mysql schematool -dbType mysql -initSchema

6.7K2 0

Hive的安装及配置

本文将逐一介绍hive连接Derby、PostgreSQL、MySQL这三种数据库数据库的安装和配置。...> 至此，以Derby做元数据库的hive连接方式就配置完成了。...与Hive配置文件hive-site.xml中的 mysql://localhost:3306/metastore 对应 #建立数据库和用户 mysql> create database if not....* TO 'hiveuser'@'localhost'; #刷新配置 mysql> FLUSH PRIVILEGES; mysql> quit; 6.2 安装MySQL-JDBC驱动 $ sudo...及$HIVE_HOME/bin是否配置正确。

2.8K3 0

hive安装配置实验

安装配置Hadoop，见http://blog.csdn.net/wzy0623/article/details/50681554 2....编辑配置文件~/.my.cnf内容如下 [mysqld] basedir=/home/grid/mysql datadir=/home/grid/mysql/data log_error...在/etc/profile中添加环境变量 export PATH=$PATH:/home/grid/mysql/bin 三、安装配置hive 1....建立配置文件hive-site.xml cp ~/hive/conf/hive-default.xml.template ~/hive/conf/hive-site.xml 5....新建配置文件hive-site.xml，内容如下： <?

5452 0

企业常用Hive SQL配置

企业常用Hive SQL配置在企业中使用Hive SQL需要一定的规范。一般在SQL编写之前，需要进行规范的注释添加，并设定特定的配置。...set mapred.min.split.size = 100000000; -- 执行Map前进行小文件合并 set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat...; -- hive自动根据sql，选择使用common join或者map join（关闭） set hive.auto.convert.join = false; -- 在Map-only的任务结束时合并小文件...set hive.merge.mapfiles = true; -- 在Map-Reduce的任务结束时不合并小文件 set hive.merge.mapredfiles = false; -- 合并文件的大小...当然在SQL文件中，一般仅涉及作业调优，对集群的公共调优部分会持久化到配置文件中。后话如果有帮助的，记得点赞、关注。

7903 0

深入理解Hive【Hive架构介绍、安装配置、Hive语法介绍】

，进入/hive-1.2.1/conf文件夹中，里面有个hive-default.xml.template文件，里面是hive的默认配置信息。...(3)由于hive的metastore存储在MySQL中，那么hive所在的服务器怎么知道你连接哪个MySQL服务器呢？...那么就需要手动配置一下MySQL相关信息，所以在hive-1.2.1/conf下创建一个hive-site.xml，用于配置数据库MySQL相关信息，该文件会覆盖hive-default.xml.template...:mysql://hdp-03:3306/hive?...服务器默认不带mysql驱动包，所以将mysql-connector-java-5.1.39.jar 上传到hive-1.2.1/lib包下 (5)配置HADOOP_HOME和HIVE_HOME到环境变量中

4.3K2 0

点击加载更多

Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

spark on hive 配置hive的metastore为mysql

配置Hive使用MySql存储元数据

配置hive的元数据到Mysql中

Hive快速入门系列(4) | 如何将Hive元数据配置到MySql

Hive配置安装

hive hwi配置

Hive权限配置

hadoop集群配置之hive1.2.0安装部署（远程mysql）

为 Hive 配置 postgres 或 MySQL 作为元数据库

Hive-配置安装

Hive常见属性配置

Hive 安装与配置

hive中配置hwi

安装和配置Hive

Hive安装Mysql安装

Hive的安装及配置

hive安装配置实验

企业常用Hive SQL配置

深入理解Hive【Hive架构介绍、安装配置、Hive语法介绍】

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐