hive mysql集群 - 腾讯云开发者社区

文章/答案/技术大牛

发布

Hive篇--搭建Hive集群

b)本地模式这种存储方式需要在本地运行一个mysql服务器，并作如下配置（下面两种使用mysql的方式，需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下）。并作如下配置： javax.jdo.option.ConnectionURL jdbc:mysql...password c)多用户模式 1.Remote一体：这种存储方式需要在远端服务器运行一个mysql...这里用mysql的测试服务器，ip位192.168.1.214，新建hive_remote数据库，字符集位latine1 hive-site.xml配置文件拆为如下两部分服务端配置文件（因为服务端需要和Mysql通信，所以服务端需要Mysql的lib安装包到Hive_Home/conf目录下

1.5K4 0

hive集群搭建

下载安装mysql 下载并安装MySQL官方的 Yum Repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7...配置hive元数据库 [root@master app]# mysql -uroot -prootroot mysql> create user 'hive' identified by 'hive'...; //创建一个账号：用户名为hive，密码为hive 或者 mysql> create user 'hive'@'%' identified by 'hive'; //创建一个账号：用户名为hive...mysql> select user,host,password from mysql.user; mysql> exit; 解压配置hive环境变量解压 tar -zxvf apache-hive-...-dbType mysql -initSchema ## MySQL作为元数据库，此时在hive的bin目录使用scp打包hive到子节点 scp -r hive-2.3.4/ root@node1

1.9K4 1

您找到你想要的搜索结果了吗？

是的

没有找到

hadoop集群配置之hive1.2.0安装部署（远程mysql）

hadoop的版本是2.6.0 根据hive的源数据不同分为三种模式 1、内嵌模式，使用自带的derby 2、本地独立模式，本地mysql库 3、远程模式，远程mysql库...将如下配置复制进去 javax.jdo.option.ConnectionURL jdbc:mysql... com.mysql.jdbc.Driver 驱动名 mysql，远程主机可以是任意操作系统，我这里用的是win7-x64，安装完成后新建数据库名为hive，字符集采用latin1，回到centos7，找到hive主目录下得lib...，放入mysql得连接jar,mysql-connector-java-5.1.27-bin.jar，然后找到一个叫jline-2.1.2.jar得文件，复制他，去hadoop主目录将hadoop下得三个同名但不同版本得

1.4K3 0

Hive安装Mysql安装

在集群上运行hbase的jar程序时报找不到scan的类库，输入 export HADOOP_CLASSPATH=$HBASE_HOME/lib/*:$CLASSPATH 安装mysql 1.先删除linux...生效 source /etc/profile 3.配置hive-site.xml 先生成一个hive-site.xml cp hive-default.xml.template hive-site.xml...schematool -dbType mysql -initSchema 5.找不到jar org.apache.hadoop.hive.metastore.HiveMetaException: Failed...https://downloads.mysql.com/archives/c-j/ 下载解压获取jar 7.复制jar到hive到lib scp -r /Users/hh/desktop/mysql-connector-java...-5.1.46-bin.jar hh555:/root/hd/apache-hive-2.3.3-bin/lib/ 8.再次重新初始化mysql schematool -dbType mysql -initSchema

6.7K2 0

spark on hive 配置hive的metastore为mysql

hive.metastore.uris Thrift uri for the remote metastore... javax.jdo.option.ConnectionURL jdbc:mysql:/.../localhost:3306/mysql?...=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver.../beeline -u jdbc:hive2://yangsy132:10000/default -n root -p yangsiyi

2.1K1 0

【MySQL集群】——Java程序连接MySQL集群

https://blog.csdn.net/huyuyang6688/article/details/47856645 上篇简单介绍了如何在Windows环境下建立配置MySQL集群，这里用一个实现注册功能的小...Demo通过jdbc的方式连接到MySQL集群中。...外部程序想要远程连接到mysql集群，还需要做的一个操作就是设置sql节点的mysql可以被远程连接。...集群配置好的话，就可以实现多个服务器上发布的外部程序都可以共享、操作整个集群中的数据。...但此时的MySQL集群还无法实现负载均衡和读写分离的效果，只起到了数据备份的作用。后面将继续研究如何实现MySQL集群的负载均衡和读写分离。

4.8K2 0

Hive跨集群数据迁移过程

环境 Hive集群A Hive集群B 跳转机一台数据迁移需求本次迁移数据100G，15亿条，数据流转方向从集群A经过跳转机到集群B，通过HDFS拉取和重新建表导入的方式完成数据库迁移。...迁移过程记录 - 当前操作在集群A 通过执行desc formatted，查看并记录数据库的：①存储位置，②文件存储压缩格式，③表字段；对迁移的数据库执行count(*)操作，记录数据量，整体把握，最后做校验...；不指定格式 InputFormat org.apache.hadoop.hive.ql.io.RCFileInputFormat OutputFormat org.apache.hadoop.hive.ql.io.RCFileOutputFormat...TEXTFILE格式，指定了分隔符为,; 通过beeline执行LOAD DATA INPATH 'hdfs location' into table table_name命令，将HDFS中的数据源文件导入Hive...，可以在完成导入后，通过创建新的附带存储格式的表，再执行insert overwrite table table_name_new select * from table_name_old;命令，完成Hive

6361 0

Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

一、Hive的简单使用　　　　基本的命令和MySQL的命令差不多　　　　首先在 /opt/datas 下创建数据 students.txt 　　　　1001　　zhangsan 　　　　1002　　...查看系统是否自带Mysql，将系统上的MySQL卸载 ? 　　　然后首先安装Mysql-Server 其中有个重要的目录要查看里面记录着Mysql的随机密码 ? ? 　　　...OK,退出Mysql之后在重新登录一下，登录成功！三、Hive配置metastore 　　　首先进入到Hive的安装目录中 /opt/moudles/hive-..... 　　　...创建一个文件 hive-site.xml 想里面配置连接Mysql的数据信息账号密码连接地址、驱动（这个驱动需要拷贝过来） hive 在mysql数据库中可以看见 hive给自动创建的数据库 ? 　　查看一下这个数据库中的表 ?

1.4K4 0

Apache-Hive 使用MySQL存储Hive的元数据

但是这样就会出现一个情况：Derby是单例的，当你在一个终端打开了hive时，在另外一个终端打开hive命令行会报错。所以使用MySQL来存储元数据能够解决这个问题，并且也更方便迁移和备份。...-8.0.21.jar，将jar包移动至 /opt/apache-hive-1.2.2-bin/lib 下配置Hive中MySQL的连接第一步，在Hive的conf目录中新建文件hive-site.xml...://localhost:3306/hive_metastore?...2、配置MySQL后，第一次打开hive的时候Cli无响应：这个问题查阅了很多资料并没有找到更加详细的信息，但是经过DEBUG初步判断还是MySQL数据库的问题，导致Hive第一次启动时无法正常完成Metastore...的数据表的初始化，按照上述第三步，在启动Hive前初始化下数据表即可：使用 schematool -dbType mysql -initSchema 命令进行初始化。

3.6K3 0

hive读写ES集群及Role权限控制

hive读写ES1.下载elasticsearch-hadoop-hive-xxx.jar包，版本要与ES集群对应add jar hdfs:///user/es/jars/elasticsearch-hadoop-hive...例如对于营销人员用户分配的Roles具有集群，索引级别上的读权限但没有写权限，管理权限，所有营销员工用户都被分配此Role，精确管控用户权限集。读权限控制ES具有集群，索引，字段，文档4种级别读权限。...hive绑定重新建表，用户更换为test2. 配置Role，拥有集群的monitor权限,test和.ds-test-xxxx索引的读权限，没有hive 索引的任何权限。...查询hive表发现没有权限，符合预期4. 为test的Role添加hive索引的读权限（需要包括元数据读权限）5....没有任何集群权限时，不影响test用户索引维度的权限。2. monitor权限决定集群状态的读权限，hive读数据需要此权限。3.

6232 0

Hadoop+Hive+HBase+Spark 集群部署（三）

本文由 bytebye 创作本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名

1.2K3 0

使用hive客户端java api读写hive集群上的信息

上文介绍了hdfs集群信息的读取方式，本文说hive 1、先解决依赖 hive.version>1.2.1hive.version> org.apache.hive hive-exec 2、配置文件这里我们给出一种简单的配置方法，就是直接将hive-site.xml通过添加文件的方式加载到配置例如，hive-site.xml中的配置如下 ...说明： 1、hiveConf.addResource("hive-site.xml") 可以直接把配置文件加载到配置 2、hive的api很丰富，下面只介绍了其中一部分，如果用到其他再进行封装即可 package...com.xiaoju.dqa.prometheus.client.hive; import org.apache.hadoop.hive.conf.HiveConf; import org.apache.hadoop.hive.metastore.IMetaStoreClient

4.3K4 0

Hive+Sqoop+Mysql整合

数据导入到mysql中 --注意： --export-dir /user/hive/warehouse/t_monitor_camera/ 这里的地址可以在hive中， --通过desc formatted.../ vi hive_to_mysql_for_vehicle export --connect jdbc:mysql://node1:3306/sqoop_db --username root --...QAZ2wsx3edc use sqoop_db; --如果有则删除 DROP TABLE IF EXISTS t_hive_to_mysql_for_vehicle; CREATE TABLE t_hive_to_mysql_for_vehicle.../vehicle_dir/hive_to_mysql_for_vehicle echo 'done.'.../hive_to_mysql_vehicle.sh 9.结果 9.1.执行脚本前，检查mysql table --执行脚本之前，查询t_hive_to_mysql_for_vehicle mysql>

3.1K2 0

Hive Metastore 使用MySQL存储

Hive支持MySQL，Postgres，Oracle，MS SQL Server这四种数据库。...配置Hive Metastore存储到MySQL 需要在hive-site.xml配置如下的参数 Config Param Config Value Comment javax.jdo.option.ConnectionURL...com.mysql.jdbc.Driver MySQL JDBC driver class javax.jdo.option.ConnectionUserName user name...to MySQL server 打开$HIVE_HOME/conf下的hive-site.xml 添加上表中的配置到hive-site.xml中，如下图所示 WX20181116-231121@2x.png...然后使用Hive Schema Tool初始化Schema schematool -dbType mysql -initSchema 至此，我们就将Hive的Metastore存储到了MySQL中。

2.2K1 0

Hive基础01、安装MySQL

Hive基础01、安装MySQL 目录 1、安装需要的包 2、卸载不需要的包 3、安装MySQL服务端 4、安装MySQL客户端 5、登录MySQL 6、修改密码 7、分配master权限 8、刷新权限...登录测试 ---- 1、安装需要的包前置位置有【MySQL-server-5.1.73-1.glibc23.x86_64.rpm】和【MySQL-client-5.1.73-1.glibc23.x86...ypdomainname同domainname. 2、卸载不需要的包 yum remove mysql-libs -y 3、安装MySQL服务端 rpm -ivh MySQL-server-5.1.73...-1.glibc23.x86_64.rpm 4、安装MySQL客户端 rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm 5、登录MySQL mysql

1.1K1 0

【MySQL集群】——在Windows环境下配置MySQL集群

所以先来看一张mysql集群的架构图（摘自百度百科-MySQL Cluster）： ? 上图一共分了四层：Applications、SQL、Storage、Management。...---- 一、下载集群版mysql 下载mysql-cluster-gpl-7.4.7-win32或mysql-cluster-gpl-7.4.7-winx64 下载地址：http://yunpan.cn.../cd892RtysQ3Vk （提取码：45c8） MySQL官网下载地址：http://dev.mysql.com/downloads/cluster/ ---- 二、配置MySQL集群需要用三台机器...三、启动MySQL集群 ---- 启动MySQL集群时，有一个启动顺序：先启动管理节点，再启动数据节点，再启动sql节点。...现在整个MySQL集群就已经启动了。

4K5 1

Hadoop集群搭建Linux环境准备基础配置安装HadoopHA集群安装HIVE安装MySQL安装HBASE安装Flume问题总结

HA集群 hadoop的HA集群，即hadoop的高可用集群配置，为了解决hadoop中的NameNode单点故障问题。...> jdbc:mysql://centos81:3306/hive?...这里选择的是mysql数据库，所以还需要提供一个mysql驱动包，这里是：mysql-connector-java-5.1.46.jar 启动 cd hive-1.2.2 bin/hive 如果你已经安装好了...mysql，执行这个命令之后，就会在mysql下创建一个hive数据库。...Hive中还有很多概念，这里就不做过多结算了。安装MySQL 这里安装MySQL的目的就一个：保存HIVE中的元数据。

3.2K2 0

Hadoop+Hive+HBase+Spark 集群部署（二）

-- 集群主机配置 --> hbase.zookeeper.quorum node,node1,node2

9373 0

Hadoop+Hive+HBase+Spark 集群部署（四）

Hive 安装mysql数据库（本文不作介绍）创建metastore数据库并为其授权 create database metastore; grant all on metastore.* to hive...privileges; 将jdbc驱动放到hive lib中 mv mysql-connector-java-5.1.43.tar.gz $HIVE_HOME/lib 复制初始化文件并重改名 cp hive-env.sh.template...>jdbc:mysql://nnode:3306/metastore?...初始化数据库 [root@node ~]# schematool -initSchema -dbType mysql SLF4J: Class path contains multiple SLF4J...hive-schema-2.3.0.mysql.sql Initialization script completed schemaTool completed 测试安装是否成功 [root@node

8803 0

多EMR-Presto集群共享EMR-Hive集群配置方案

EMR的某些客户的数据仓库使用EMR-Hive存储，presto连接hive快速ad-hoc查询，但是有些场景下不同的业务部门有各自不同的使用presto查询需求，多EMR-Presto集群共享EMR-Hive...image.png 假设EMR-Hive的集群为A集群，新增的EMR-Presto集群为B+集群，设置A集群为B+共享集群，只需要把B+集群的presto-hive配置变更即可。...把hdfs-site.xml和core-site.xml文件都分发到集群所有节点下的相同目录 3.更改/usr/local/service/presto/etc/catalog/hive.properties...更改为A集群的hive-server2的地址 hive.config.resources更改为刚刚设置的/home/hadoop/hdfs-site.xml和/home/hadoop/core-site.xml...4.把/usr/local/service/presto/etc/catalog/hive.properties分发到presto集群的所有节点 5.在emr控制台重启presto集群，包括coordinator

1.8K15 4

点击加载更多

Hive篇--搭建Hive集群

hive集群搭建

hadoop集群配置之hive1.2.0安装部署（远程mysql）

Hive安装Mysql安装

spark on hive 配置hive的metastore为mysql

【MySQL集群】——Java程序连接MySQL集群

Hive跨集群数据迁移过程

Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

Apache-Hive 使用MySQL存储Hive的元数据

hive读写ES集群及Role权限控制

Hadoop+Hive+HBase+Spark 集群部署（三）

使用hive客户端java api读写hive集群上的信息

Hive+Sqoop+Mysql整合

Hive Metastore 使用MySQL存储

Hive基础01、安装MySQL

【MySQL集群】——在Windows环境下配置MySQL集群

Hadoop集群搭建Linux环境准备基础配置安装HadoopHA集群安装HIVE安装MySQL安装HBASE安装Flume问题总结

Hadoop+Hive+HBase+Spark 集群部署（二）

Hadoop+Hive+HBase+Spark 集群部署（四）

多EMR-Presto集群共享EMR-Hive集群配置方案

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐