- 综合排序
- 最热优先
- 最新优先
- 来自专栏喵了个咪的博客空间
Hive2搭建和基本操作
[喵咪大数据]Hive2搭建 说到Hadoop生态有一个不得不提的组件那就是<Hive>,Hive是基于Hadoop结构化存储引擎,能够存储海量的数据,Hive提供了类SQL的方式对数据进行查询检索汇总 附上: HIVE官网地址:Apache Hive TM 喵了个咪的博客:w-blog.cn 1.环境配置 hadoop集群环境需要提前配置好,可以在master上进行搭建也可以单独一台机器进行搭建这里使用一台独立的 centos7.X 64位服务器进行Hive服务搭建并且连接到之前的Hadoop集群 通过oneinstack配置环境 > mkdir -p /app/install && cd /app/install hive-env.sh > cp hive-default.xml.template hive-site.xml > cp hive-log4j2.properties.template hive-log4j2 .properties > cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties 修改hive-env.sh因为 Hive
1.1K101发布于 2018-03-02 - 来自专栏LhWorld哥陪你聊算法
Hive篇--搭建Hive集群
一.前述 Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位置不一样。 这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库。 2.Remote分开：将hive-site.xml配置文件拆为如下两部分 服务端配置文件（因为服务端需要和Mysql通信，所以服务端需要Mysql的lib安装包到Hive_Home/conf目录下 :9083</value> </property> </configuration> 启动hive服务端程序 hive --service metastore 2>&1 >> / dev/null & 客户端直接使用hive命令即可！！！
1.3K40发布于 2018-09-13 - 来自专栏浅枫沐雪
hive集群搭建
-- Hiveserver2已经不再需要hive.metastore.local这个配置项了(hive.metastore.uris为空，则表示是metastore在本地，否则就是远程)远程的话直接配置 -- HiveServer2的WEB UI --> <property> <name>hive.server2.webui.host</name> <value>hservice</value 文件 #配置日志地址, 修改hive-log4j.properties文件 cp hive-log4j2.properties.template hive-log4j.properties vim hive-log4j.properties -r hive-2.3.4/ root@node1:/opt scp -r hive-2.3.4/ root@node2:/opt 配置子节点的环境变量 启动hive 启动Metastore服务 # -2.3.4/conf/hive-log4j2.properties Async: true Hive-on-MR is deprecated in Hive 2 and may not be available
1.8K41发布于 2020-03-11 - 来自专栏大数据数仓
hive环境搭建
-3.1.3-bin.tar.gz2.配置环境变量vim /etc/profileexport HIVE_HOME=/home/hadoop/bigdata/hiveexport export PATH =export HIVE_CONF_DIR=/home/hadoop/bigdata/hive/conf2.修改 hive-sitz.xml<? 'hive'@'%';flush privileges;6.启动hiveserver2cd ${HIVE_HOME}/bin;nohup ${HIVE_HOME}/bin/hiveserver2 > ${HIVE_HOME}/logs/hiveserver2.log 2>&1 &7.登录hive# 正常方式hive # 使用hiveserver2（在启动服务后需要一两分钟后才能登录）beeline -u jdbc:hive2://node01:10000/default -n hadoop
55630编辑于 2022-10-26 - 来自专栏大数据那些事
hive（2）——hive基本操作
前提：开启hadoop，关闭safe模式（关闭safe模式命令：hdfs dfsadmin -safemode leave） （1）创建一个数据库hive_test ? （2）切换到hive_test ? （3）在数据库里面创建表hive_table ? 注意：这里的数据类型的写法和mysql不是很像，因为我们是从一个结构数据直接导入到我们的hive中，所以不需要在后面加括号写多大的数据，并且后面的row format跟的东西是我们以逗号将数据分开。 在hive目录下： ? 在warehouse目录下： ? 找到了我们的hive_test表，并且在hive_test.db目录下能找到我们创建的hive_table表： ? （6）将此文件导入hive_table中 ? （7）查看数据是否加入成功 ? ? ? 可见导入成功 （8）再次查看hdfs ? 可见，相当于将此文件复制到了hdfs下
57410发布于 2020-11-11 - 来自专栏大数据成神之路
hadoop上搭建hive
,slave2（hive客户端） hive建立在hadoop的HDFS上，搭建hive前，先需搭建hadoop 远程模式： 101.201.81.34（Mysql server meta server安装位置 包 2)sudo tar -zxvf apache-hive-2.1.0-bin.tar.gz 3)sudo cp -R apache-hive-2.1.0-bin /home/cms/hive 4)chmod -R 775 /home/cms/hive 5)sudo chown -R cms /home/cms/hive 2.修改/etc/profile加入HIVE_HOME的变量 HIVE_HOME/PATH slave2建立hive客户端 1.将master上的整个hive目录移至slave2上 scp -r hive slave2:/home/cms 注意要关闭防火墙 sudo ufw disable 2 .修改slave2下的hive-site配置文件，内容如下： <configuration> <!
1.6K30发布于 2019-04-25 - 来自专栏YoungGy
HIVE入门_2
HIVE 传统的方式可以使用Oracle或者MySQL搭建数据仓库，这种方式数据保存在Oracle或者是MySQL中。 HIVE是建立在Hadoop HDFS上的数据仓库的基础架构。 HIVE的管理 CLI方式 Web界面管理 远程服务启动方式 CLI方式 #进入hive $ hive $ hive --service cli #清屏 ctrl+l ! HIVE的数据类型 基本类型 ? 复杂类型 ? 数组，数组的元素是 [1,2,3,4]： ? Map，数组元素是<’English’,85>: ? 数组和map联合起来： ? create table t1 (tid int, tname string, age int) create table t2 (tid int, tname string, age int) location '/mytable/hive/t2' #指定HDFS中的其他位置 create table t3 (tid int, tname string, age int) row format delimited
1.8K50发布于 2018-01-02 - 来自专栏程序猿~
Windows搭建Hive1.2.2
环境 操作系统: Windows 7 JDK版本: 1.8.0_221 Hadoop版本: 2.6.0 (Hive依赖) Hive版本: 1.2.2 2. 前期准备 3.1 安装并启动完成HADOOP 详见: Windows搭建HDFS 2.6.0(附加搭建Hadoop) 4. 安装部署 4.1. 解压 4.2 执行安装hive . \bin\hive 排坑: 'hive' 不是内部或外部命令，也不是可运行的程序或批处理文件。 解决办法: 下载 hive.cmd(提取码6666) 放在 %HIVE_HOME%\bin 下 报错信息如下: E:\soft_work\apache-hive-1.2.2-bin\bin>hive /hive-log4j.properties hive> 5.
1.1K10发布于 2020-10-28 - 来自专栏北漂的我
CentOS 6.9 中 搭建 Hive
解压 hive 安装包 sudo tar -zxvf apache-hive-2.1.1-bin.tar.gz 2. /metastore.log 2>&1 & # 启动 hive server nohup hive --service hiveserver2 >> /opt/apache-hive-2.1.1-bin /hiveserver.log 2>&1 & # 查看hive metastore 和 hiveserver2 是否启动成功 ps aux | grep hive 10. 启动 hive 的 metastore 和 hiveserver2 # 启动 metastore nohup hive --service metastore >> /opt/apache-hive-2.1.1 -bin/metastore.log 2>&1 & # 启动 hive server nohup hive --service hiveserver2 >> /opt/apache-hive-2.1.1
81630发布于 2019-05-28 - 来自专栏王小雷
Hive的HQL(2)
Hive基础(1) Hive的HQL(2) 1. HQL的数据定义，HQL是一种SQL方言，支持绝大部分SQL-92标准。但是和SQL的差异为：不支持行级别的操作，不支持事务等。 2. Hive的数据库，本质仅仅是个表的目录或者命名空间。一般用数据库将生产表组织成逻辑组。 3. Hive中的表–管理表，创建表时未指定的话为默认为管理表。 当删除管理表时，Hive将删除管理表中的数据和元数据。 Hive中的表–外部表，当数据需要被多个工具（如Pig、Hive）共享时，创建一个外部表明确数据的所有权，Hive只会删除该表的元数据信息，而不会删除该表的数据。 = y2) LOCATION ‘/user/test/x1/y1’ 修改分区 ALTER TABLE test ADD PARTITION (x = x1, y = y2) SET LOCATION
1.1K80发布于 2018-01-05 - 来自专栏Hadoop数据仓库
kettle 5.1.0 连接 Hadoop hive 2 (hive 1.2.1)
配置HiveServer2，在hive-site.xml中添加如下的属性 <property> <name>hive.server2.thrift.bind.host</name> </description> </property> <property> <name>hive.server2.thrift.port</name> <value>10001 </value> <description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode </description> </property> <property> <name>hive.server2.thrift.min.worker.threads</name> 启动HiveServer2 $HIVE_HOME/bin/hiveserver2 3.
1.2K20编辑于 2022-05-07 - 来自专栏软件开发-青出于蓝
Hive on spark的搭建记录 原
1、搭建伪分布式的Hadoop 从hadoop下载Hadoop-2.7 etc/hadoop/，修改core-site.xml List-1.1 <configuration> <property> 2、安装Hive-2.1.1 从官网下载Hive-2.1.1 在conf下，"cp hive-default.xml.template hive-site.xml" 之后修改hive-site.xml .properties.template hive-log4j2.properties"，修改hive-log4j2.properties中日志文件的位置，之后我们就可以看Hive的日志(这点很重要 的值为连接mysql的密码，修改javax.jdo.option.ConnectionURL的值为jdbc:mysql://xxx.xxx.xxx.xxx:3306/hive2。 /make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.6,parquet-provided
1.5K31发布于 2019-04-15 - 来自专栏桥路_大数据
Hive On LLAP搭建&常见问题
Hive On LLAP搭建&常见问题 基本概述 Hive在2.0之后，推出一个新特性LLAP（Live Long And Process），可以显著提高查询效率。 环境搭建 首先编辑hive-site.xml，配置LLAP，这里hive.llap.daemon.service.hosts配置为运行在yarn上的LLAP服务名，这里可以自定义设置，但要与下一步中使用 --service llap --name llap_server \ --instances 2\ --cache 512m\ --executors 2\ --iothreads 2\ null, unexpected error, closing socket connection and attempting reconnect Exception in thread Thread-2: 后话 至此，LLAP已经搭建完成，如果有帮助的，记得点赞、关注。
1.2K20发布于 2021-01-29 - 来自专栏python3
基于docker快速搭建hive环境
2 Get Plan在驱动程序帮助下查询编译器，分析查询检查语法和查询计划或查询的要求。 3 Get Metadata编译器发送元数据请求到Metastore（任何数据库）。 Hive版本0.14到1.1也适用于Java 1.6。 强烈建议用户开始转向Java 1.8。Hadoop 2.x（首选），1.x（不支持Hive 2.0.0以上版本）。 Hadoop集群的搭建前面已经介绍了，链接如下： https://www.cnblogs.com/xiao987334176/p/13208915.html 由于使用的是jdk1.7，我需要升级到jdk1.8 /root/hdfs /data/hadoop-cluster/slave2/ 重新运行容器，并挂载hdfs目录 cd /opt/hadoop-hive bash start-container2.sh DATABASES; OK default testdb Time taken: 0.48 seconds, Fetched: 2 row(s) hive> quit; 使用hdfs 管理页面，查看刚刚创建的数据库
5K20发布于 2020-07-27 - 来自专栏若是烟花
Hadoop Hive Hbase Kylin 环境搭建
| 1.3.0 | | MySQL | 5.7.17 | | Kylin | 1.6.0 | 以上全部运行、大概至少需要2GB 内存 一、搭建Hadoop环境 安装JDK(1.8) http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载地址 <name>dfs.replication</name> <value>1</value> </property> </configuration> 二、搭建 hive-default.xml cp hive-log4j2.properties.template hive-log4j2.properties 然后，需要初始化一下 hive的数据库表 schematool -dbType mysql -initSchema 三、搭建Hbase环境 安装Hbase(1.3.0) http://hbase.apache.org/ 下载地址
1.3K10发布于 2020-07-27 - 来自专栏朱永胜的私房菜
基于Docker搭建大数据集群（六）Hive搭建
基于Docker搭建大数据集群（六）Hive搭建 前言 之前搭建的都是1.x版本，这次搭建的是hive3.1.2版本的。。 还是有一点细节不一样的 Hive现在解析引擎可以选择spark，我是用spark做解析引擎的，存储还是用的HDFS 我是在docker里面搭建的集群，所以都是基于docker操作的 一、安装包准备 ~ 2.12.9 三、环境准备 （1）解压hive压缩包 tar xivf apache-hive-3.1.2-bin -C /opt/hive/ （2）新建一个日志目录 mdkir /opt/hive MySQL驱动 微云下载 | jar包目录下 2. 2 line.
1.3K30编辑于 2023-08-17 - 来自专栏dandelion1990的专栏
单机搭建hadoop+hive+spark环境
; USE hive; CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive'; GRANT ALL ON hive.* TO 'hive'@'localhost network $syslog # Required-Stop: $local_fs $remote_fs $network $syslog # Default-Start: 2 network $syslog # Required-Stop: $local_fs $remote_fs $network $syslog # Default-Start: 2 spark-env.sh.template spark-env.sh vi spark-env.sh export SPARK_MASTER_IP=cloud #主机名 export SPARK_WORKER_CORES=2 export SPARK_WORKER_MEMORY=2g export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 修改slaves文件 cp slaves.template
3.8K30发布于 2019-06-27 - 来自专栏YO大数据
Hive环境搭建 | 数据仓库工具搭建详细过程
1.Hive简介 hive是基于Hadoop的一个数据仓库的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。 2.环境Hive安装 1.前置环境 对应的安装包可以再公众号我获取。在安装Hive之前，需要先确保Hadoop与MySQL是正常启动的，Hadoop与MySQL的搭建可以参[环境搭建的系列文章。 2.解压安装包 这里我们在node1节点上安装Hive，将安装包解压放在app目录下 #解压 tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz - > <value>falsevalue> property> <property> <name>hive.server2.thrift.portname> <value>10000value> property> <property> <name>hive.server2.thrift.bind.hostname>
2.6K50编辑于 2022-05-31 - 来自专栏Albert陈凯
Hadoop数据分析平台实战——110Hive介绍和Hive环境搭建离线数据分析平台实战——110Hive介绍和Hive环境搭建
离线数据分析平台实战——110Hive介绍和Hive环境搭建 Hive介绍 Hive是构建在Hadoop之上的数据仓库平台，设计目标就是将hadoop上的数据操作同SQL结合，让熟悉SQL编程的开发人员能够轻松的向 Hive远程模式安装，使用mysql进行元数据的存储。 安装步骤： 1. 安装mysql数据库。 2. hive本地模式安装。 Hive Web界面安装 Hive提供了一个Web的操作客户端，一般我们通过该页面查看hive的信息，配置信息包括： hive.hwi.listen.host指定监听ip(默认0.0.0.0)， hive.hwi.listen.port 使用root用户: su root 2. 下载hive：http://archive.cloudera.com/cdh5/cdh/5/hive-0.13.1-cdh5.3.6.tar.gz 2. hive的帮助文档位置：https://
1.3K80发布于 2018-04-08 - 来自专栏小火龙说数据
「干货」Hive常用10大应用技巧『Hive系列2』
解决痛点：对于工作中经常应用Hive，以及准备去面试的同学，相信此篇文章会让你有所收获。 01 Hive运行顺序 在应用Hive过程中，你是否有过这样的疑问？ 不建议 Select t1.x ,t2.x from qqq t1 left join ppp t2 on t1.key=t2.key and t1.ds=d1 and t2.ds=d1 ; 建议 Select t1.x ,t2.x from (select * from a where ds=d1) t1 left join (select * from b where ds=d1) t2 on t1.key=t2.key ; 04 AB两表放置位置「join场景」 内连接时小表放前面、大表放后面。 [A为小表] A inner join B on A.key = B.key ; 05 hive与mysql/oracle差异「join场景」 内关联场景中，hive与mysql/oracle存在一些差异
2K10编辑于 2022-06-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号