- 综合排序
- 最热优先
- 最新优先
- 来自专栏LhWorld哥陪你聊算法
Hive篇--搭建Hive集群
一.前述 Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位置不一样。 这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库。 > <configuration> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive_remote > <configuration> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive dev/null & 客户端直接使用hive命令即可！！！
1.3K40发布于 2018-09-13 - 来自专栏浅枫沐雪
hive集群搭建
创建一个账号：用户名为hive，密码为hive 或者 mysql> create user 'hive'@'%' identified by 'hive'; //创建一个账号：用户名为hive，密码为hive =/opt/hive-2.3.4 PATH=$PATH:$HIVE_HOME/bin export PATH HIVE_HOME 配置hive配置文件 编辑hive-env.xml文件 /jdk1.8.0_181 HADOOP_HOME=/opt/hadoop-2.7.7 HIVE_HOME=/opt/hive-2.3.4 export HIVE_CONF_DIR=$HIVE_HOME #将hive.log日志的位置改为${HIVE_HOME}/tmp目录 hive.log.dir=/opt/hive-2.3.4/tmp/ 创建tmp目录 mkdir ${HIVE_HOME}/tmp /hive –service metastore # 此时在hive的bin目录 启动hive 输入hive即可 # 您将看到如下信息 [root@hservice opt]# hive SLF4J:
1.8K41发布于 2020-03-11 - 来自专栏大数据数仓
hive环境搭建
1.下载Hive#下载wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz# 解压tar -zxvf apache-hive =$PATH:$HIVE_HOME/bin3.修改配置信息1.修改 hive-env.shcp hive-env.sh.template hive-env.shvim hive-env.shHADOOP_HOME =export HIVE_CONF_DIR=/home/hadoop/bigdata/hive/conf2.修改 hive-sitz.xml<? -dbType mysql mysql创建用户CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';grant all privileges on hive.* to 'hive'@'%';flush privileges;6.启动hiveserver2cd ${HIVE_HOME}/bin;nohup ${HIVE_HOME}/bin/hiveserver2 >
54630编辑于 2022-10-26 - 来自专栏大数据成神之路
hadoop上搭建hive
,slave2（hive客户端） hive建立在hadoop的HDFS上，搭建hive前，先需搭建hadoop 远程模式： 101.201.81.34（Mysql server meta server安装位置 ） 一、101.201.81.43 该主机上安装好mysql，并且建立一个hive数据库 （要开启远程访问） 二、在master上安装hive 1.安装hive 1)在apache官网上下载hive-2.1.0 包 2)sudo tar -zxvf apache-hive-2.1.0-bin.tar.gz 3)sudo cp -R apache-hive-2.1.0-bin /home/cms/hive 4)chmod -R 775 /home/cms/hive 5)sudo chown -R cms /home/cms/hive 2.修改/etc/profile加入HIVE_HOME的变量 HIVE_HOME/PATH /conf下的几个template模板并重命名为其他 cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml
1.6K30发布于 2019-04-25 - 来自专栏程序猿~
Windows搭建Hive1.2.2
环境 操作系统: Windows 7 JDK版本: 1.8.0_221 Hadoop版本: 2.6.0 (Hive依赖) Hive版本: 1.2.2 2. 前期准备 3.1 安装并启动完成HADOOP 详见: Windows搭建HDFS 2.6.0(附加搭建Hadoop) 4. 安装部署 4.1. 解压 4.2 执行安装hive . \bin\hive 排坑: 'hive' 不是内部或外部命令，也不是可运行的程序或批处理文件。 解决办法: 下载 hive.cmd(提取码6666) 放在 %HIVE_HOME%\bin 下 报错信息如下: E:\soft_work\apache-hive-1.2.2-bin\bin>hive /hive-log4j.properties hive> 5.
1.1K10发布于 2020-10-28 - 来自专栏北漂的我
CentOS 6.9 中 搭建 Hive
解压 hive 安装包 sudo tar -zxvf apache-hive-2.1.1-bin.tar.gz 2. 配置 Hive 环境变量 export HIVE_HOME=/opt/apache-hive-2.1.1-bin # 在下面这行末尾添加 :$HIVE_HOME/bin export PATH=$HOME 配置 /opt/apache-hive-2.1.1-bin/conf/hive-site.xml hive.metastore.uris中的 bigdata 含义为 metastore 所在的机器 /metastore.log 2>&1 & # 启动 hive server nohup hive --service hiveserver2 >> /opt/apache-hive-2.1.1-bin -bin/metastore.log 2>&1 & # 启动 hive server nohup hive --service hiveserver2 >> /opt/apache-hive-2.1.1
80330发布于 2019-05-28 - 来自专栏软件开发-青出于蓝
Hive on spark的搭建记录 原
1、搭建伪分布式的Hadoop 从hadoop下载Hadoop-2.7 etc/hadoop/，修改core-site.xml List-1.1 <configuration> <property> 2、安装Hive-2.1.1 从官网下载Hive-2.1.1 在conf下，"cp hive-default.xml.template hive-site.xml" 之后修改hive-site.xml 命令行执行hive命令，就进入Hive CLI了，之后可以执行创建表等操作。 3、Hive on park 因为Hive的计算引擎默认是map reduce，比较慢，我们想要将Hive的计算引擎设置为Spark。 这是最坑的部分。 命令行执行hive，进入hive CLI，执行命令"set hive.execution.engine;"可以看到当前正在使用的计算引擎。
1.5K31发布于 2019-04-15 - 来自专栏桥路_大数据
Hive On LLAP搭建&常见问题
Hive On LLAP搭建&常见问题 基本概述 Hive在2.0之后，推出一个新特性LLAP（Live Long And Process），可以显著提高查询效率。 环境搭建 首先编辑hive-site.xml，配置LLAP，这里hive.llap.daemon.service.hosts配置为运行在yarn上的LLAP服务名，这里可以自定义设置，但要与下一步中使用 hive命令生成的LLAP环境包中的服务名一致。 > <name>hive.llap.execution.mode</name> <value>all</value> </property> <property> <name>hive.llap.daemon.service.hosts 后话 至此，LLAP已经搭建完成，如果有帮助的，记得点赞、关注。
1.2K20发布于 2021-01-29 - 来自专栏python3
基于docker快速搭建hive环境
用户界面，Hive支持是Hive的Web UI，Hive命令行，HiveHD洞察（在Windows服务器）。 Hive工作原理 下图描述了Hive 和Hadoop之间的工作流程。 ? 下表定义Hive和Hadoop框架的交互方式： Step No. Hadoop集群的搭建前面已经介绍了，链接如下： https://www.cnblogs.com/xiao987334176/p/13208915.html 由于使用的是jdk1.7，我需要升级到jdk1.8 /hive-2.1.1/apache-hive-2.1.1-bin.tar.gz 构建镜像 docker build -t hadoop-hive:1 . shell测试 # /usr/local/hive/bin/hive hive> CREATE SCHEMA testdb; OK Time taken: 2.052 seconds hive> SHOW
5K20发布于 2020-07-27 - 来自专栏若是烟花
Hadoop Hive Hbase Kylin 环境搭建
| | MySQL | 5.7.17 | | Kylin | 1.6.0 | 以上全部运行、大概至少需要2GB内存 一、搭建 <name>dfs.replication</name> <value>1</value> </property> </configuration> 二、搭建 hive-default.xml cp hive-log4j2.properties.template hive-log4j2.properties 然后，需要初始化一下 hive的数据库表 schematool -dbType mysql -initSchema 三、搭建Hbase环境 安装Hbase(1.3.0) http://hbase.apache.org/ 下载地址 hbase.tmp.dir</name> <value>/home/lpe234/hbase-tmp</value> </property> </configuration> 四、搭建
1.3K10发布于 2020-07-27 - 来自专栏朱永胜的私房菜
基于Docker搭建大数据集群（六）Hive搭建
基于Docker搭建大数据集群（六）Hive搭建 前言 之前搭建的都是1.x版本，这次搭建的是hive3.1.2版本的。。 还是有一点细节不一样的 Hive现在解析引擎可以选择spark，我是用spark做解析引擎的，存储还是用的HDFS 我是在docker里面搭建的集群，所以都是基于docker操作的 一、安装包准备 ~ 2.12.9 三、环境准备 （1）解压hive压缩包 tar xivf apache-hive-3.1.2-bin -C /opt/hive/ （2）新建一个日志目录 mdkir /opt/hive 将hive的jline包替换到hadoop的yarn下 mv /opt/hive/apache-hive-3.1.2-bin/lib/jline-2.12.jar /opt/hadoop/hadoop /hive --service metastore & client节点 hive
1.2K30编辑于 2023-08-17 - 来自专栏dandelion1990的专栏
单机搭建hadoop+hive+spark环境
; USE hive; CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive'; GRANT ALL ON hive.* TO 'hive'@'localhost ' IDENTIFIED BY 'hive'; GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive'; FLUSH PRIVILEGES; 安装hadoop wget http://mirrors.shu.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz tar -xzvf apache-hive /hive" export path="/home/user_name/hive/bin:$PATH" 配置文件 cd hive/conf cp hive-default.xml.template hive-site.xml # 复制hive/conf/hive-site.xml到spark/conf下 cp hive/conf/hive-site.xml sprak/conf # 复制mysql-connector-java.jar
3.8K30发布于 2019-06-27 - 来自专栏YO大数据
Hive环境搭建 | 数据仓库工具搭建详细过程
1.Hive简介 hive是基于Hadoop的一个数据仓库的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。 2.环境Hive安装 1.前置环境 对应的安装包可以再公众号我获取。在安装Hive之前，需要先确保Hadoop与MySQL是正常启动的，Hadoop与MySQL的搭建可以参[环境搭建的系列文章。 C /app #修改别名 mv apache-hive-3.1.2-bin hive-3.1.2 3.添加环境变量 vim /etc/profile #添加下面两行 export HIVE_HOME= /app/hive-3.1.2 export PATH=$PATH:$HIVE_HOME/bin #source /etc/profile 4.解决日志的Jar包冲突 cd /app/hive-3.1.2 cp mysql-connector-java-5.1.27.jar /app/hive-3.1.2 6.配置Metastore 在/app/hive-3.1.2/conf目录下新建hive-site.xml
2.6K50编辑于 2022-05-31 - 来自专栏Albert陈凯
Hadoop数据分析平台实战——110Hive介绍和Hive环境搭建离线数据分析平台实战——110Hive介绍和Hive环境搭建
离线数据分析平台实战——110Hive介绍和Hive环境搭建 Hive介绍 Hive是构建在Hadoop之上的数据仓库平台，设计目标就是将hadoop上的数据操作同SQL结合，让熟悉SQL编程的开发人员能够轻松的向 Hive架构 ? image.png Hive安装 Hive根据metastore的存储位置不同，分为三种安装模式： 内嵌模式，本地模式，远程模式。 Hive安装--Hive安装 安装步骤： 下载hive，下载地址:http://archive.cloudera.com/cdh5/cdh/5/hive-0.13.1-cdh5.3.6.tar.gz hive --service metastore &. 进入hive的shell客户端，验证是否安装成功。 Hive Web界面安装 Hive提供了一个Web的操作客户端，一般我们通过该页面查看hive的信息，配置信息包括： hive.hwi.listen.host指定监听ip(默认0.0.0.0)， hive.hwi.listen.port
1.2K80发布于 2018-04-08 - 来自专栏云计算与大数据技术
win10搭建hive3.0.0
win10安装Hadoop3.0.0：https://blog.csdn.net/qq262593421/article/details/105927625 win10搭建hive3.0.0：https /dist/hive/hive-3.0.0/ 下载文件：apache-hive-3.0.0-bin.tar 二、配置环境变量 1、解压安装包到：D:\Hadoop\Hive\apache-hive 3、配置hive环境变量 变量名：HIVE_HOME 变量值：D:\Hadoop\Hive\apache-hive-3.0.0-bin 变量名：HIVE_CONF_DIR 变量值：D:\Hadoop \Hive\apache-hive-3.0.0-bin\conf # hive的lib库目录 export HIVE_AUX_JARS_PATH=D:\Hadoop\Hive\apache-hive-3.0.0 hive version hive 注意事项： hive的log4j和hadoop的log4j包冲突 jdbc连接需要配置 hive数据库的原数据要配置 hive官方文档 https://cwiki.apache.org
87240发布于 2021-04-27 - 来自专栏大数据分享
（二）Hive在hadoop环境下搭建
5，安装Hive 上传解压 cd /opt/bdp/ rz tar -zxvf apache-hive-1.2.1-bin.tar.gz rm -rf pache-hive-1.2.1-bin.tar.gz 配置文件 vim/opt/bdp/apache-hive-1.2.1-bin/conf/hive-site.xml <? --默认为/user/hive/warehouse，用于配置Hive默认的数据文件存储路径， 这是一个HDFS路径。可按需调整。 bdp/apache-hive-1.2.1-bin/conf/hive-site.xml <? 交互方式 1.hive cli 2.beeline -u jdbc:hive2://bd1603:10000 -n root 3.hive -e|f beeline -e|f 7，Hive元数据
88010发布于 2020-09-20 - 来自专栏深蓝居
基于Ubuntu Hadoop的群集搭建Hive
Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hive的群集。 2.下载并配置Hive 2.1下载Hive 首先我们到官方网站，找到Hive的下载地址。 然后在master服务器上，wget下载hive的编译好的文件，我现在最新版是Hive 2.1.1 ： wget http://mirror.bit.edu.cn/apache/hive/hive-2.1.1 :${JAVA_HOME}/lib:${JRE_HOME}/lib:/usr/local/hive/lib 2.3配置hive-env.sh 所有Hive的配置是在/usr/local/hive/conf 目录下，进入这个目录，我们需要先基于模板新建hive-env.sh文件： cp hive-env.sh.template hive-env.sh vi hive-env.sh 指定Hadoop的路径，增加以下行
78110编辑于 2022-06-16 - 来自专栏喵了个咪的博客空间
Hive2搭建和基本操作
[喵咪大数据]Hive2搭建 说到Hadoop生态有一个不得不提的组件那就是<Hive>,Hive是基于Hadoop结构化存储引擎,能够存储海量的数据,Hive提供了类SQL的方式对数据进行查询检索汇总 附上: HIVE官网地址:Apache Hive TM 喵了个咪的博客:w-blog.cn 1.环境配置 hadoop集群环境需要提前配置好,可以在master上进行搭建也可以单独一台机器进行搭建这里使用一台独立的 centos7.X 64位服务器进行Hive服务搭建并且连接到之前的Hadoop集群 通过oneinstack配置环境 > mkdir -p /app/install && cd /app/install ##Hive安装路径 export HIVE_CONF_DIR=/usr/local/hive-2.3.0/conf ##Hive配置文件路径 在hive机器切换到hadoop用户创建hive 内置运算符 - Hive教程™ Hive内置函数 - Hive教程™ Hive视图和索引 - Hive教程™ HiveQL Select Where - Hive教程™ HiveQL Select Order
1.1K101发布于 2018-03-02 - 来自专栏数据仓库践行者
Hive源码系列（一）hive2.1.1+hadoop2.7.3环境搭建
这是一篇工具类的文章，工欲善其事必先利其器，要分析调试hive源码，必须搭建一套hive的运行环境。还记得第一次搭建hive源码调试环境，用了一个月的时间，才完全跑通整个调试过程。 source /etc/profile 使生效 修改配置文件(搭建调试环境，伪分布就够用啦) cd $HADOOP_HOME/etc/hadoop/ vim core-site.xml ? 安装部署 Hive2.1.1下载 https://hive.apache.org/ ? apache-hive-2.1.1-bin.tar.gz 安装包 apache-hive-2.1.1-src.tar.gz 源码包 （后面编译源码、调试源码会用到） 上传HIVE安装包 解压安装包 hive配制 cd /opt/soft/hive/conf vim hive-site.xml ? ? ? ?
1.2K50发布于 2020-04-20 - 来自专栏码客
大数据环境搭建-Hive和Mysql
下载与配置 https://dlcdn.apache.org/hive/hive-2.3.9/ 解压 tar -zxvf apache-hive-2.3.9-bin.tar.gz -C /data/tools lib/ 进入目录 cd /data/tools/bigdata/apache-hive-2.3.9-bin 配置重命名 cd conf cp hive-default.xml.template hive-site.xml cp hive-env.sh.template hive-env.sh cp hive-log4j2.properties.template hive-log4j.properties hive-site.xml bin/tmp 修改hive-log4j.properties配置 property.hive.log.dir = /data/tools/bigdata/apache-hive-2.3.9-bin/logs 在Hive中无法执行任何命令 启动Hive cd /data/tools/bigdata/apache-hive-2.3.9-bin .
1.5K20编辑于 2022-04-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号