首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Java成神之路

    kylin_学习_01_kylin安装部署

    /kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz 2.下载 使用命令进行下载 wget http://mirrors.shu.edu.cn /apache/kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz 或者先在本地下载,然后上传服务器 3.解压 tar -zxvf MAVEN_HOME=/developer/apache-maven-3.0.5 # 4. hadoop export HADOOP_HOME=/developer/hadoop-2.6.0 # 5. /start-hbase.sh 2.启动 kylin 进入 kylin 的 bin 目录,执行 . /kylin.sh start 即可启动kylin 3.访问kylin管理界面 启动kylin之后,浏览器访问:http://your_hostname:7070/kylin

    80530发布于 2018-08-10
  • 来自专栏Jed的技术阶梯

    Apache Kylin-2.6安装部署

    [root@compile src]# cd kylin/ # kylin版本切换 # 本文是基于HDP-3.1.4.0-315安装部署Kylin,HDP-3.1.4.0-315的Hadoop版本是 Kylin 本文基于HDP3.1大数据平台安装部署Kylin,大数据平台的安装部署参考博主的其他文章 2.2 安装部署 # 1.上传编译好的kylin安装包并解压 [admin@hdp01 apps KYLIN_HOME is set to /opt/apps/kylin # 10.设置HDFS权限,admin是Linux的普通用户 [admin@hdp01 kylin]$ sudo usermod 到这里,Kylin2.6就安装部署成功了! 3. Kylin入门使用 Kylin官网提供了入门案例,其中5张表的信息如下: 表名 类型 数据量 描述 kylin_account 维表 10000 账户表,买家卖家都在这里,一个用户既可以是买家也可以是买家

    1.3K30发布于 2021-04-13
  • 来自专栏不温卜火

    Kylin快速入门系列(5) | 如何使用JDBC连接操作Kylin

    驱动 String KYLIN_DRIVER = "org.apache.kylin.jdbc.Driver"; //Kylin_URL String KYLIN_URL = "jdbc:kylin://hadoop002:7070/emp_project"; //Kylin的用户名 String KYLIN_USER = "ADMIN"; //Kylin的密码 String KYLIN_PASSWD = "KYLIN"; //添加驱动信息 Class.forName (KYLIN_DRIVER); //获取连接 Connection connection = DriverManager.getConnection(KYLIN_URL 5. 通过TestJDBC查看数据 ? 可以发现与在页面上进行查询返回的结果是一样的,说明我们使用JDBC连接操作Kylin就成功了。   本次的分享就到这里了

    1.1K20发布于 2020-10-28
  • 来自专栏不温卜火

    Kylin快速入门系列(1) | Kylin的简单介绍及安装部署

    此篇为大家带来的是Kylin的简单介绍及安装部署5.任务引擎(Cube Build Engine)   这套引擎的设计目的在于处理所有离线任务,其中包括shell脚本、Java API以及Map Reduce任务等等。 安装部署Kylin(下面的所有步骤所有虚拟机均需操作) 1.将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到Linux ? 2. 修改配置文件 [bigdata@hadoop002 conf]$ vim kylin.properties ? 5. // 结束Kylin [bigdata@hadoop002 kylin]$ bin/kylin.sh stop ?

    1.6K10发布于 2020-10-28
  • 来自专栏Hadoop实操

    如何在CDH中部署及使用Kylin

    Kylin里为百亿以上数据集定义数据模型并构建立方体 5.与BI工具无缝整合: - Kylin提供与BI工具的整合能力,如Tableau,PowerBI/Excel,MSTR,QlikSense,Hue 的Apache社区官网,具体参考:http://kylin.apache.org/cn/,本文主要描述如何在CDH集群中部署及使用Kylin。 3.部署Kylin ---- 这里测试只部署了一个节点,实际生产可以部署多个节点,kylin是无状态的,前端做负载均衡。 1.上传kylin包至服务器 ? 4.执行bin/check-env.sh检查kylin运行环境 ? 5.启动kylin服务,执行bin/kylin.sh start命令 ? ? 5.Demo2 ---- 1.数据准备 ?

    2.4K61发布于 2018-07-12
  • 来自专栏ApacheHudi

    KIP-5:Apache Kylin深度集成Hudi

    •Q5. Who cares? If you are successful, what difference will it make?•Q6. What are the risks?•Q7. •对于Hudi数据湖源端集成•将企业数据湖中以Hudi格式存储的数据集作为Kylin的源端输入•对于Kylin cube重新构建&合并优化•支持Kylin的Cuboid使用Hudi格式存储•使用Hudi 的增量查询视图加速和优化Kylin cube重新构建过程,仅解析上次cube构建后变更的数据•使用Hudi的Compaction功能加速和优化Kylin Cube合并过程(针对增量cuboid文件),或者使用 •当前无论输入格式是否为Hudi,Kylin都使用Beeline JDBC机制直接连接到Hive源•当前的实现无法利用Hudi的原生和高级功能(例如增量查询、读优化视图查询等),Kylin可以从较小的增量 upsert,每个cuboid的维度key-id都可以视为PK•这样当进行重建和合并操作时,它可以直接更新以前的cuboid文件,或基于PK合并多个cuboid文件并将它们压缩为Parquet文件 Q5.

    67420发布于 2021-05-24
  • 来自专栏大数据实战演练

    Kylin集群模式部署(使用同一HBase存储)

    放弃不难,但坚持很酷~ HDP版本:3.0 Kylin版本:2.6.0 前言 本文主要讲解如何部署Kylin集群,采取多个Kylin实例共享HBase存储的模式,如果需要事先了解Kylin基本概念的朋友可以查看 一、安装启动Kylin 首先安装一个Kylin实例,然后再分析Kylin集群模式部署的注意点。 1. 解决hive用户不能访问/kylin/kylin_metadata /kylin/kylin_metadata文件主要存储同步Hive表基数的相关文件,以及存储构建cube的相关信息。 下图描绘了 Kylin 集群模式部署的一个典型场景: ? 如果您需要将多个 Kylin 节点组成集群,请确保他们使用同一个 Hadoop 集群、HBase 集群。 ,即仅有一台kylin可以配置为kylin.server.mode=all或kylin.server.mode=job,其余机器的kylin配置为kylin.server.mode=query。

    2.4K20发布于 2019-04-17
  • 来自专栏Java架构师必看

    Kylin2.5.2完全分布式安装部署

    1.2.1+      HBase: 1.1+      Spark (可选) 2.1.1+      Kafka (可选) 0.10.0+      JDK: 1.7+      OS: Linux -2.5.2 2,Kylin下载与安装      下载Kylin的时候,需要注意Kylin的版本,Kylin支持CDH,也有原生的版本。            下载完成后,将tar包上传到linux中,进行解压: tar -zxvf apache-kylin-2.5.2-bin-hbase1x.tar.gz      然后对解压后的目录改名: kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib 3,其他配置      第二部完成后,Kylin部署工作刚完成一半,因为Kylin的边缘配置还有一些。      

    70730发布于 2021-08-12
  • 来自专栏skyyws的技术专栏

    Kylin独立HBase集群部署常见问题汇总

    Kylin部署的以后需要依赖Hadoop,Hive以及HBase等组件,最近公司内部在部署Kylin服务的时候遇到了不少问题。 主要是HBase集群是独立部署的,与Kylin部署的HDFS不是同一个,因此踩了许多坑,这里将遇到的一些问题记录下来,希望能帮助到大家。 Hadoop版本:2.7.3 Hive版本:2.1.1 HBase版本:1.2.6 Kylin版本:2.4.0和2.6.1均有 由于Kylin和HBase在两个不同的HDFS集群,因此为了让Kylin服务可以访问 kerberos的HDFS 1由于我们的Kylin所以来的HDFS是线上的,所以一般都部署了kerberos作为安全认证,但是HBase是独立部署的,因此HBase所在的HDFS是没有认证方式的,包括HBase 问题七 Kylin进程FULL GC挂掉 Kylin进程默认的JVM参数是相对比较小的,我们需要手动调大一些,在KYLIN_HOME/conf/setenv.sh中,有一个KYLIN_JVM_SETTINGS

    96710编辑于 2022-05-20
  • 来自专栏轩辕镜像

    Docker 部署银河麒麟高级服务器操作系统(Kylin Linux)生产级全流程

    /arm64docker.xuanyuan.run/macrosan/kylin:v10-sp3-2403#amd64架构(x86服务器)dockerpull--platform=linux/amd64docker.xuanyuan.run dockertagdocker.xuanyuan.run/macrosan/kylin:v10-sp3-2403kylin:test⚠️生产环境禁止使用latest标签,需保持版本可追溯,避免部署一致性问题 kylin-test/data:/var/data\-v/data/kylin-test/conf:/etc/custom\-eTZ=Asia/Shanghai\--platform=linux/arm64 cpus=2\--health-cmd"cat/etc/.productinfo>/dev/null2>&1"\#健康检查--health-interval=30s\--health-timeout=5s 用户platform:linux/arm64#架构指定ports:-"5432:5432"volumes:-.

    1.2K10编辑于 2026-01-04
  • 来自专栏Hadoop实操

    如何在启用Kerberos的CDH中部署及使用Kylin

    ,请参考《如何在CDH中部署及使用Kylin》,文章中包含了如何在CDH上部署Kylin,以及创建cube,然后进行查询的两个demo例子。 本文主要描述如何在启用Kerberos的CDH集群中如何部署及使用Kylin。 3.部署Kylin ---- 这里测试只部署了一个节点,实际生产可以部署多个节点,kylin是无状态的,前端做负载均衡,kylin的负载均衡配置后续会有文章详细介绍。 5.创建kylin的kerberos账号,并生成kylin账号的keytab文件 ? 生成kylin账号的keytab文件 ? ? 并将kylin.keytab文件拷贝至部署Kylin的节点上 ? 2.进入kylin Web界面reload metadata ? 3.查看导入模型 ? 4.构建cube ? 5.选择数据分区范围 ? 6.点击monitor,查看正在构建cube的作业 ? ?

    1.9K30发布于 2018-07-12
  • 来自专栏蔡鹏的专栏

    开源的分布式分析引擎 Kylin 2.0.0 的环境部署

    -2.0.0-bin-hbase1x.tar.gz hadoop-2.7.2.tar.gz hbase-1.1.9-bin.tar.gz jdk-8u144-linux-x64.tar.gz zookeeper -3.4.8.tar.gz mysql:mysql-community-release-el7-5.noarch.rpm (当然也有虚拟机HDP可以配置好的这一系列,如果遇到问题也可以下方留言我们共同探讨 安装过程: 三个大步骤就可以完成环境的部署了,酒足饭饱,泡好茶客官准备开始咯: 1.更改服务器名称: 192.168.6.220 hadoop 这一行就是我们添加192.168.6.220 就是本地IP jdk-8u144-linux-x64.tar.gz zookeeper-3.4.8.tar.gz 为了整洁方便使用, 我统一解压放在根目录workspace ,jdk放在/user/java/目录下 yarn.nodemanager.remote-app-log-dir</name> <value>/YarnApp/Logs</value> </property> </configuration> slaves 由于是单机部署

    1.6K00发布于 2017-09-08
  • 来自专栏全栈程序员必看

    Linux部署redis_weblogic部署Linux

    前言 网上搜索了一筐如何在Linux下安装部署Redis的文章,各种文章混搭在一起勉强安装成功了。自己也记录下,方便后续安装时候有个借鉴之处。 Redis版本 5.0.4 服务器版本 Linux CentOS 7.6 64位 下载Redis 进入官网找到下载地址 Redis 右键Download按钮,选择复制链接。 假设不添加该关键字Linux会将可执行文件存放在/usr/local/bin目录, 库文件会存放在/usr/local/lib目录。配置文件会存放在/usr/local/etc目录。 我么可以通过cat、vim、less等Linux内置的读取命令读取该文件。 也可以通过redis-cli命令进入redis控制台后通过CONFIG GET * 的方式读取所有配置项。 关于直接输入redis-server不行的问题我还怀疑是不是Linux缓存问题,我重启服务器尝试下。结果还是一样的。。。

    3.2K20编辑于 2022-11-09
  • 来自专栏实战docker

    CDH+Kylin三部曲之二:部署和设置

    本文是《CDH+Kylin三部曲》系列的第二篇,上一篇《CDH+Kylin三部曲之一:准备工作》已将所需的机器和文件准备完毕,可以部署CDH和Kylin了; 执行ansible脚本部署CDH和Kylin 执行命令开始部署:ansible-playbook cm6-cdh5-kylin264-single-install.yml 整个部署过程涉及在线安装、传输大文件等耗时的操作,请耐心等待(半小时左右), 如果部署期间出错退出(例如网络问题),只需重复执行上述命令即可,ansible保证了操作的幂等性; 部署成功如下图所示: ? 启动Kylin:$KYLIN_HOME/bin/kylin.sh start 控制台输出以下内容说明启动Kylin成功: ? 至此,CDH和Kylin部署、设置、启动都已完成,Kylin已经可用了,在下一篇文章中,我们就在此环境运行Kylin的官方demo,体验Kylin

    85330发布于 2020-05-26
  • 来自专栏实战docker

    CDH+Kylin三部曲之一:准备工作

    本文是《CDH+Kylin三部曲》的第一篇,整个系列由以下三篇组成: 准备工作:搭建CDH+Kylin环境前,将所有硬件、软件资源准备好 部署和设置:部署CDH和Kylin,再做相关设置 Kylin实战 关于CDH与Kylin Kylin的运行需要Hadoop、Hive、HBase等服务,因此用CDH来集中部署这些应用更为方便,下图来自Kylin官方,可见是支持CDH的: ? 官方说支持CDH6.0版本,但实际部署中发现Kylin2.6在CDH6.0.1环境启动会有问题,经尝试发现Kylin2.6+CDH5.16可以正常运行,本次实战就用这样的版本搭配; 部署方式 ansible 用到的配置信息 11 cm6-cdh5-kylin264-single-install.yml 部署CDH时用到的ansible脚本 12 cdh-single-start.yml 初次启动CDH时用到的 GitHub仓库,地址是:https://github.com/zq2599/blog_demos ,这里面有多个文件夹,上述文件在名为ansible-cm6-cdh5-kylin264-single的文件夹中

    1.1K10发布于 2020-05-26
  • 来自专栏Linux成长之路

    Linux系统之部署h5ai目录列表程序

    本地P地址 操作系统版本 内核版本 node版本jeven192.168.3.166 centos 7.63.10.0-957.el7.x86_64v16.17.02.2 本次实践介绍1.本次实践部署环境为个人测试环境 ;2.在centos7.6环境下部署h5ai文件展示页。 三、检查本地环境3.1 检查本地操作系统版本检查本地操作系统版本[root@jeven ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 epel/x86_64 Extra Packages for Enterprise Linux /h5ai/h5ai-0.30.0.zip 图片6.2 解压h5ai软件包解压h5ai软件包unzip h5ai-0.30.0.zip图片6.3 复制目录将_h5ai目录复制到/var/www/html

    91343编辑于 2023-10-13
  • 来自专栏大数据&云原生

    5分钟在k8s上可视化搭建Kylin5

    使用CloudEon搭建Kylin5 CloudEon是一款基于Kubernetes的开源大数据平台,该平台致力于简化多种大数据服务在Kubernetes上的部署和管理。 这里使用CloudEon可以极快地在Kubernetes上搭建Kylin5需要的HDFS、YARN、Hive、Zookeeper等组件,省去不少安装的时间。 然后我们开始安装Kylin服务。我已经提前安装好Kylin依赖的服务,如果没安装过,会提示先安装。 图片 默认密码是ADMIN/KYLIN 图片 成功登陆后可以看到kylin5全新的界面,好看了不少。 图片 导入Kylin5样本数据 使用kubectl进入kylin的pod中 [root@test-1 ~]# kubectl get pod |grep kylin kylin-server-kylin18

    1K20编辑于 2023-06-05
  • 来自专栏全栈程序员必看

    Linux tomcat部署War包,Linux在Tomcat部署JavaWeb项目,Linux部署War包

    Linux tomcat部署War包,Linux在Tomcat部署JavaWeb项目,Linux部署War包 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> ©Copyright 蕃薯耀 2017年3月6日 http://fanshuyao.iteye.com/ 一、Linux快速部署War包操作,暂时是最简单的操作 1、先关闭Tomcat /home/java/tomcat7/bin /shutdown.sh 2、进入War包存放目录(可以通过工具:SSH Secure Shell Client把War传到Linux服务器) cd /home/project 3、解压War包到部署的项目中 tomcat部署War包,Linux在Tomcat部署JavaWeb项目,Linux部署War包 http://fanshuyao.iteye.com/blog/2360423 Linux下Tomcat /blog/2359793 Linux Tomcat安装,Linux配置Tomcat,Linux Tomcat修改内存,Linux tomcat修改端 http://fanshuyao.iteye.com

    7K11编辑于 2022-09-03
  • 来自专栏QT开发

    Qt开发麒麟Linux桌面应用程序的流程

    以下是 Qt 开发麒麟 Linux 桌面应用程序的详细流程:1.准备开发环境麒麟 Linux 系统: 确保你有一台安装了麒麟 Linux(例如 Ubuntu KylinKylin OS)的机器。 麒麟 Linux 的仓库中通常会有 Qt5 或 Qt6 的默认版本。 libqt5network5-dev libqt5sql5-dev libqt5charts5-devKylin SDK (可选但推荐): 麒麟团队提供了 kylin-sdk,其中包含了针对麒麟系统优化的开发资源和 部署工具:linuxdeployqt: 这是 Qt 官方推荐的 Linux 部署工具。它可以自动收集你的应用程序所需的所有 Qt 依赖库,并将它们打包到一个可分发的目录或 AppImage 文件中。 通过遵循上述步骤,你可以在麒麟 Linux 系统上高效地开发和部署功能丰富且与系统深度集成的 Qt 桌面应用程序。

    3.9K10编辑于 2025-05-30
  • 来自专栏全栈程序员必看

    linux下安装部署eureka_Linux部署jboss

    系列文章目录 ---- 前言 网上搜索了一箩筐安装部署redis的文章,成功部署安装了,方便以后用的着,现在记录下 一、下载Redis 进入Redis官网找到下载地址 点击进入 第一种方法: 下载压缩包 控制台输入以下内容就会把安装包下载到当前目录下 $ wget https://download.redis.io/releases/redis-6.2.6.tar.gz 二、安装Redis 找到已经下载到Linux

    4.8K20编辑于 2022-11-10
领券