/kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz 2.下载 使用命令进行下载 wget http://mirrors.shu.edu.cn /apache/kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz 或者先在本地下载,然后上传服务器 3.解压 tar -zxvf Maven export MAVEN_HOME=/developer/apache-maven-3.0.5 # 4. hadoop export HADOOP_HOME=/developer/hadoop /start-hbase.sh 2.启动 kylin 进入 kylin 的 bin 目录,执行 . /kylin.sh start 即可启动kylin 3.访问kylin管理界面 启动kylin之后,浏览器访问:http://your_hostname:7070/kylin。
[root@compile src]# cd kylin/ # kylin版本切换 # 本文是基于HDP-3.1.4.0-315安装部署Kylin,HDP-3.1.4.0-315的Hadoop版本是 Kylin 本文基于HDP3.1大数据平台安装部署Kylin,大数据平台的安装部署参考博主的其他文章 2.2 安装部署 # 1.上传编译好的kylin安装包并解压 [admin@hdp01 apps =/opt/apps/kylin-2.6.6 export PATH=$KYLIN_HOME/bin:$PATH [admin@hdp01 apps]$ source /etc/profile # 4 KYLIN_HOME is set to /opt/apps/kylin # 10.设置HDFS权限,admin是Linux的普通用户 [admin@hdp01 kylin]$ sudo usermod 到这里,Kylin2.6就安装部署成功了! 3.
此篇为大家带来的是Kylin的简单介绍及安装部署。 4.元数据管理工具(Metadata) Kylin是一款元数据驱动型应用程序。元数据管理工具是一大关键性组件,用于对保存在Kylin当中的所有元数据进行管理,其中包括最为重要的cube元数据。 可伸缩性和高吞吐率:单节点Kylin可实现每秒70个查询,还可以搭建Kylin的集群。 4.BI工具集成 Kylin可以与现有的BI工具集成,具体包括如下内容。 安装部署Kylin(下面的所有步骤所有虚拟机均需操作) 1.将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到Linux ? 2. 修改文件名 [bigdata@hadoop002 module]$ mv apache-kylin-2.5.1-bin-hbase1x kylin 4.
目前,在使用社区版的kylin-2.3.1版本时,streaming cube在第一步就报错了,通过查看MR的错误日志,发现应该是缺少了lz4相关的包导致的。 相关的错误堆栈如下所示: 通过错误日志分析,应该是缺少lz4相关包导致的,我们登陆kylin的部署服务器,查看kafka部署的客户端路径下,发现有lz4相关的包: 因此,猜测是相关的包,在执行MR任务的时候 因此,我们将libs/lz4-1.3.0.jar上传到$KYLIN_HOME/conf/kylin.properties中kylin.engine.mr.lib-dir配置项所指定的HDFS路径上,然后重启 注:kylin.engine.mr.lib-dir指定的HDFS路径中,包括了执行MR/Spark任务所需要的一些依赖jar,我们环境的路径下,目前包含了如下的这些jar:
的Apache社区官网,具体参考:http://kylin.apache.org/cn/,本文主要描述如何在CDH集群中部署及使用Kylin。 内容概述 1.下载Kylin 2.部署Kylin 3.Demo1 4.Demo2 测试环境 1.RedHat7.4 2.CM/CDH5.13.3 3.Apache Kylin2.1.0 4.集群未启用Kerberos 前置条件 1.CDH集群正常运行 2.Hive,HBase服务运行正常 3.安装Kylin服务的节点已经部署Hive Gateway 2.下载Kylin ---- 社区版kylin下载地址:https 3.部署Kylin ---- 这里测试只部署了一个节点,实际生产可以部署多个节点,kylin是无状态的,前端做负载均衡。 1.上传kylin包至服务器 ? 4.执行bin/check-env.sh检查kylin运行环境 ? 5.启动kylin服务,执行bin/kylin.sh start命令 ? ?
上一篇博文我们已经介绍过,在没有采取任何优化措施的情况下,Kylin会对每一种维度的组合进行预计算,每种维度的组合的预计算结果被称为Cuboid。 假设有4个维度,我们最终会有24 =16个Cuboid需要计算。 但在现实情况中,用户的维度数量一般远远大于4个。 Row Key优化 Kylin会把所有的维度按照顺序组合成一个完整的Rowkey,并且按照这个Rowkey升序排列Cuboid中所有的行。 用户还可以通过设置kylin.hbase.region.count.min(默认为1)和kylin.hbase.region.count.max(默认为500)两个配置来决定每个Segment最少或最多被划分成多少个分区 假设将把当前Cube的kylin.hbase.region.count.min设置为2,kylin.hbase.region.count.max设置为100。
放弃不难,但坚持很酷~ HDP版本:3.0 Kylin版本:2.6.0 前言 本文主要讲解如何部署Kylin集群,采取多个Kylin实例共享HBase存储的模式,如果需要事先了解Kylin基本概念的朋友可以查看 一、安装启动Kylin 首先安装一个Kylin实例,然后再分析Kylin集群模式部署的注意点。 1. 解决hive用户不能访问/kylin/kylin_metadata /kylin/kylin_metadata文件主要存储同步Hive表基数的相关文件,以及存储构建cube的相关信息。 下图描绘了 Kylin 集群模式部署的一个典型场景: ? 如果您需要将多个 Kylin 节点组成集群,请确保他们使用同一个 Hadoop 集群、HBase 集群。 ,即仅有一台kylin可以配置为kylin.server.mode=all或kylin.server.mode=job,其余机器的kylin配置为kylin.server.mode=query。
1.2.1+ HBase: 1.1+ Spark (可选) 2.1.1+ Kafka (可选) 0.10.0+ JDK: 1.7+ OS: Linux 下载完成后,将tar包上传到linux中,进行解压: tar -zxvf apache-kylin-2.5.2-bin-hbase1x.tar.gz 然后对解压后的目录改名: kylin-kafka-consumer.xml kylin-server-log4j.properties kylin-tools-log4j.properties 打开 kylin.properties setenv.sh kylin_job_conf_inmem.xml kylin-kafka-consumer.xml kylin-server-log4j.properties kylin-tools-log4j.properties 3,其他配置 第二部完成后,Kylin的部署工作刚完成一半,因为Kylin的边缘配置还有一些。
Kylin在部署的以后需要依赖Hadoop,Hive以及HBase等组件,最近公司内部在部署Kylin服务的时候遇到了不少问题。 主要是HBase集群是独立部署的,与Kylin部署的HDFS不是同一个,因此踩了许多坑,这里将遇到的一些问题记录下来,希望能帮助到大家。 Hadoop版本:2.7.3 Hive版本:2.1.1 HBase版本:1.2.6 Kylin版本:2.4.0和2.6.1均有 由于Kylin和HBase在两个不同的HDFS集群,因此为了让Kylin服务可以访问 kerberos的HDFS 1由于我们的Kylin所以来的HDFS是线上的,所以一般都部署了kerberos作为安全认证,但是HBase是独立部署的,因此HBase所在的HDFS是没有认证方式的,包括HBase 问题七 Kylin进程FULL GC挂掉 Kylin进程默认的JVM参数是相对比较小的,我们需要手动调大一些,在KYLIN_HOME/conf/setenv.sh中,有一个KYLIN_JVM_SETTINGS
/macrosan/kylin:v10-sp3场景4:本地标签简化(仅限测试)若标签较长,测试环境可临时重命名(生产环境禁止):展开代码语言:BashAI代码解释#仅测试环境使用,生产环境需保留明确版本标签 kylin-test/data:/var/data\-v/data/kylin-test/conf:/etc/custom\-eTZ=Asia/Shanghai\--platform=linux/arm64 /Shanghai\-eLANG=zh_CN.UTF-8\--platform=linux/arm64\#按服务器架构调整--restart=always\#自动恢复--memory=4g\#资源限制- kylin-serviceuser:"1000:1000"#非root用户platform:linux/arm64#架构指定ports:-"5432:5432"volumes:-. :v10-sp3-2403nginx-g"daemonoff;"#示例:前台运行自定义服务dockerrun...macrosan/kylin:v10-sp3-2403/opt/app/start.shforeground4
,请参考《如何在CDH中部署及使用Kylin》,文章中包含了如何在CDH上部署Kylin,以及创建cube,然后进行查询的两个demo例子。 内容概述 1.下载Kylin 2.部署Kylin 3.Demo1 测试环境 1.RedHat7.2 2.CM/CDH5.14.2 3.Apache Kylin2.3.1 4.集群启用Kerberos 前置条件 3.部署Kylin ---- 这里测试只部署了一个节点,实际生产可以部署多个节点,kylin是无状态的,前端做负载均衡,kylin的负载均衡配置后续会有文章详细介绍。 4.在每个节点创建kylin用户 [root@nn shell]# sh batch_cmd.sh node.list "useradd kylin" (可左右滑动) ? 4.Demo:Kylin自带Sample ---- 1.Kylin本身自带了一个测试例子,创建流程如下: 执行sample.sh脚本,这个主要是创建kylin的project、model、cube以及相关的
作者:李闯、家龙、世鑫 部门:数据中台 一、Kylin4 在有赞现有业务场景的应用 早在 2018 年有赞引入 Kylin 到现在,有赞已经使用 Kylin 五年的时间了,作为 Kylin4 最早的一批使用用户 ,亲自参与见证了 Kylin4 的逐渐成熟,同时 Kylin4 在 2021 年在有赞正式落地,并且将所有的线上业务都迁移到了 Kylin4。 二、目前业务场景下存在的一些痛点 Kylin4是基于Spark构建的,相比之前版本在查询性能和稳定性方面都有了很大的提升。然而,在有赞的一些场景下,仍然存在一些稳定性问题。 3.2.2 Parquet存储倾斜优化 Kylin4数据存储采用 parquet 进行存储,因此我们先看下parquet存储的数据结构。 抛开文件裁剪等优化,对单个文件的读取Kylin4查询性能强烈依赖 parquet 的min-max索引来实现 row group 的跳跃。
安装过程: 三个大步骤就可以完成环境的部署了,酒足饭饱,泡好茶客官准备开始咯: 1.更改服务器名称: 192.168.6.220 hadoop 这一行就是我们添加192.168.6.220 就是本地IP localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 jdk-8u144-linux-x64.tar.gz zookeeper-3.4.8.tar.gz 为了整洁方便使用, 我统一解压放在根目录workspace ,jdk放在/user/java/目录下 OK,到此为止如果都没问题的话,我们就可以访问: http://192.168.6.220:7070/kylin/ 帐号:ADMIN 密码:KYLIN 4.小体验: 1.用已经成功导入的样例Cube 2.选择一个时间范围2012-01-01 ~2012-04-01 3.观察进度 4.选择learn_kylin项目进行查询 select part_dt, sum(price) as total_selled
前言 网上搜索了一筐如何在Linux下安装部署Redis的文章,各种文章混搭在一起勉强安装成功了。自己也记录下,方便后续安装时候有个借鉴之处。 Redis版本 5.0.4 服务器版本 Linux CentOS 7.6 64位 下载Redis 进入官网找到下载地址 Redis 右键Download按钮,选择复制链接。 假设不添加该关键字Linux会将可执行文件存放在/usr/local/bin目录, 库文件会存放在/usr/local/lib目录。配置文件会存放在/usr/local/etc目录。 我么可以通过cat、vim、less等Linux内置的读取命令读取该文件。 也可以通过redis-cli命令进入redis控制台后通过CONFIG GET * 的方式读取所有配置项。 关于直接输入redis-server不行的问题我还怀疑是不是Linux缓存问题,我重启服务器尝试下。结果还是一样的。。。
本文是《CDH+Kylin三部曲》系列的第二篇,上一篇《CDH+Kylin三部曲之一:准备工作》已将所需的机器和文件准备完毕,可以部署CDH和Kylin了; 执行ansible脚本部署CDH和Kylin 执行命令开始部署:ansible-playbook cm6-cdh5-kylin264-single-install.yml 整个部署过程涉及在线安装、传输大文件等耗时的操作,请耐心等待(半小时左右), 如果部署期间出错退出(例如网络问题),只需重复执行上述命令即可,ansible保证了操作的幂等性; 部署成功如下图所示: ? 启动Kylin:$KYLIN_HOME/bin/kylin.sh start 控制台输出以下内容说明启动Kylin成功: ? 至此,CDH和Kylin的部署、设置、启动都已完成,Kylin已经可用了,在下一篇文章中,我们就在此环境运行Kylin的官方demo,体验Kylin
Linux tomcat部署War包,Linux在Tomcat部署JavaWeb项目,Linux部署War包 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> ©Copyright 蕃薯耀 2017年3月6日 http://fanshuyao.iteye.com/ 一、Linux快速部署War包操作,暂时是最简单的操作 1、先关闭Tomcat /home/java/tomcat7/bin /shutdown.sh 2、进入War包存放目录(可以通过工具:SSH Secure Shell Client把War传到Linux服务器) cd /home/project 3、解压War包到部署的项目中 4、部署完后启动Tomcat /home/java/tomcat7/bin/startup.sh 二、以后可能会用到的命令 一、查看Tomcat进程 ps -ef|grep java 二、、杀死进程( tomcat部署War包,Linux在Tomcat部署JavaWeb项目,Linux部署War包 http://fanshuyao.iteye.com/blog/2360423 Linux下Tomcat
系列文章目录 ---- 前言 网上搜索了一箩筐安装部署redis的文章,成功部署安装了,方便以后用的着,现在记录下 一、下载Redis 进入Redis官网找到下载地址 点击进入 第一种方法: 下载压缩包 控制台输入以下内容就会把安装包下载到当前目录下 $ wget https://download.redis.io/releases/redis-6.2.6.tar.gz 二、安装Redis 找到已经下载到Linux
本文是《CDH+Kylin三部曲》的第一篇,整个系列由以下三篇组成: 准备工作:搭建CDH+Kylin环境前,将所有硬件、软件资源准备好 部署和设置:部署CDH和Kylin,再做相关设置 Kylin实战 关于CDH与Kylin Kylin的运行需要Hadoop、Hive、HBase等服务,因此用CDH来集中部署这些应用更为方便,下图来自Kylin官方,可见是支持CDH的: ? 官方说支持CDH6.0版本,但实际部署中发现Kylin2.6在CDH6.0.1环境启动会有问题,经尝试发现Kylin2.6+CDH5.16可以正常运行,本次实战就用这样的版本搭配; 部署方式 ansible 下载文件(ansible电脑) 本次实战一共要准备13个文件,这里用表格列举如下: 编号 文件名 简介 1 jdk-8u191-linux-x64.tar.gz Linux版的jdk安装包 2 mysql-connector-java -5.1.34.jar mysql的JDBC驱动 3 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cm的server安装包 4 cloudera-manager-daemons
在Tomcat服务器上,部署Web应用有多种方法: 静态部署,在启动Tomcat之前安装Web 应用 动态部署,使用Tomcat的Manager应用直接操纵已经部署好的Web应用(依赖于auto-deplyment 4. 在启动Tomcat时部署 将Web应用静态的部署到Tomcat中,再启动Tomcat,这种情况下应用部署的位置有appBase目录决定,每台主机都指定了一个这样的位置。 Tomcat启动时部署,步骤如下: 部署上下文描述文件 部署没有被任何上下文描述文件引用过的展开的Web应用。 7.使用客户端部署器进行部署 客户端部署器(TCD)的行为包括: 验证并编译web应用 将资源压缩成war文件 将web应用部署到用于生产或开发环境的Tomcat服务器上 TCD需要用到Ant,包含了一个 默认为myapp path:应用已部署的上下文路径,默认为/myapp url:tomcat中管理器应用的绝对地址,用于部署和结束部署应用。
SELINUX=enforcing 改为 SELINUX=disabled 3、设置每个节点的主机名 vi /etc/sysconfig/network HOSTNAME=node02 4、