/kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz 2.下载 使用命令进行下载 wget http://mirrors.shu.edu.cn /apache/kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz 或者先在本地下载,然后上传服务器 3.解压 tar -zxvf apache-hive-1.1.0-bin export HIVE_CONF_DIR=${HIVE_HOME}/conf export HCAT_HOME=$HIVE_HOME/hcatalog # 7. /start-hbase.sh 2.启动 kylin 进入 kylin 的 bin 目录,执行 . /kylin.sh start 即可启动kylin 3.访问kylin管理界面 启动kylin之后,浏览器访问:http://your_hostname:7070/kylin。
[root@compile src]# cd kylin/ # kylin版本切换 # 本文是基于HDP-3.1.4.0-315安装部署Kylin,HDP-3.1.4.0-315的Hadoop版本是 Kylin 本文基于HDP3.1大数据平台安装部署Kylin,大数据平台的安装部署参考博主的其他文章 2.2 安装部署 # 1.上传编译好的kylin安装包并解压 [admin@hdp01 apps 因为后续有可能会部署Kylin3.x,所在这里修改了metedata url,区分这里是2.x版本 kylin.metadata.url=kylin_2_metadata@hbase kylin.env.hdfs-working-dir KYLIN_HOME is set to /opt/apps/kylin # 10.设置HDFS权限,admin是Linux的普通用户 [admin@hdp01 kylin]$ sudo usermod 到这里,Kylin2.6就安装部署成功了! 3.
此篇为大家带来的是Kylin的简单介绍及安装部署。 可伸缩性和高吞吐率:单节点Kylin可实现每秒70个查询,还可以搭建Kylin的集群。 4.BI工具集成 Kylin可以与现有的BI工具集成,具体包括如下内容。 安装部署Kylin(下面的所有步骤所有虚拟机均需操作) 1.将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到Linux ? 2. 解压apache-kylin-2.5.1-bin-hbase1x.tar.gz到/opt/module [bigdata@hadoop002 kylin]$ tar -zxvf apache-kylin // 结束Kylin [bigdata@hadoop002 kylin]$ bin/kylin.sh stop ?
的Apache社区官网,具体参考:http://kylin.apache.org/cn/,本文主要描述如何在CDH集群中部署及使用Kylin。 前置条件 1.CDH集群正常运行 2.Hive,HBase服务运行正常 3.安装Kylin服务的节点已经部署Hive Gateway 2.下载Kylin ---- 社区版kylin下载地址:https 3.部署Kylin ---- 这里测试只部署了一个节点,实际生产可以部署多个节点,kylin是无状态的,前端做负载均衡。 1.上传kylin包至服务器 ? 7.查询构建完成的cube 先运行简单的count,可以看到耗时2.14s,再次执行基本在豪秒级,因为kylin支持缓存功能 select count(*) from KYLIN_SALES (可左右滑动 7.选择维度字段 ? 8.选择度量字段: ? 9.如果有分区选择分区表和列 ? 10.model创建完成 ? 11.创建cube ? 12.选择model ?
放弃不难,但坚持很酷~ HDP版本:3.0 Kylin版本:2.6.0 前言 本文主要讲解如何部署Kylin集群,采取多个Kylin实例共享HBase存储的模式,如果需要事先了解Kylin基本概念的朋友可以查看 一、安装启动Kylin 首先安装一个Kylin实例,然后再分析Kylin集群模式部署的注意点。 1. 解决hive用户不能访问/kylin/kylin_metadata /kylin/kylin_metadata文件主要存储同步Hive表基数的相关文件,以及存储构建cube的相关信息。 下图描绘了 Kylin 集群模式部署的一个典型场景: ? 如果您需要将多个 Kylin 节点组成集群,请确保他们使用同一个 Hadoop 集群、HBase 集群。 ,即仅有一台kylin可以配置为kylin.server.mode=all或kylin.server.mode=job,其余机器的kylin配置为kylin.server.mode=query。
1.2.1+ HBase: 1.1+ Spark (可选) 2.1.1+ Kafka (可选) 0.10.0+ JDK: 1.7+ OS: Linux -2.5.2 2,Kylin下载与安装 下载Kylin的时候,需要注意Kylin的版本,Kylin支持CDH,也有原生的版本。 下载完成后,将tar包上传到linux中,进行解压: tar -zxvf apache-kylin-2.5.2-bin-hbase1x.tar.gz 然后对解压后的目录改名: kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib 3,其他配置 第二部完成后,Kylin的部署工作刚完成一半,因为Kylin的边缘配置还有一些。
Kylin在部署的以后需要依赖Hadoop,Hive以及HBase等组件,最近公司内部在部署Kylin服务的时候遇到了不少问题。 主要是HBase集群是独立部署的,与Kylin部署的HDFS不是同一个,因此踩了许多坑,这里将遇到的一些问题记录下来,希望能帮助到大家。 Hadoop版本:2.7.3 Hive版本:2.1.1 HBase版本:1.2.6 Kylin版本:2.4.0和2.6.1均有 由于Kylin和HBase在两个不同的HDFS集群,因此为了让Kylin服务可以访问 kerberos的HDFS 1由于我们的Kylin所以来的HDFS是线上的,所以一般都部署了kerberos作为安全认证,但是HBase是独立部署的,因此HBase所在的HDFS是没有认证方式的,包括HBase 问题七 Kylin进程FULL GC挂掉 Kylin进程默认的JVM参数是相对比较小的,我们需要手动调大一些,在KYLIN_HOME/conf/setenv.sh中,有一个KYLIN_JVM_SETTINGS
/arm64docker.xuanyuan.run/macrosan/kylin:v10-sp3-2403#amd64架构(x86服务器)dockerpull--platform=linux/amd64docker.xuanyuan.run dockertagdocker.xuanyuan.run/macrosan/kylin:v10-sp3-2403kylin:test⚠️生产环境禁止使用latest标签,需保持版本可追溯,避免部署一致性问题 dockerimages|grepkylin输出类似以下内容即成功:展开代码语言:TXTAI代码解释REPOSITORYTAGIMAGEIDCREATEDSIZEmacrosan/kylinv10-sp3-2403d8f7e6a5b3c21 kylin-test/data:/var/data\-v/data/kylin-test/conf:/etc/custom\-eTZ=Asia/Shanghai\--platform=linux/arm64 用户platform:linux/arm64#架构指定ports:-"5432:5432"volumes:-.
操作系统要求 Kafka 可以在多种 Linux 发行版上运行,本文以 CentOS 7 为例,其他发行版步骤类似,只需调整包管理命令。 2. Oracle 官网:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 或 OpenJDK 官网下载 Linux 版本 示例(OpenJDK 8): wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan 解压安装包 mkdir -p /usr/local/java tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz -C /usr/local/ kafka-console-consumer.sh \ --bootstrap-server localhost:9092 \ --topic test-topic \ --from-beginning 八、总结 通过以上步骤,已在 Linux
前面搭建好啦linux运行环境,下面搭建windows下的开发环境。并完成调试 参考地址:https://www.microsoft.com/net/core#windows。 按照步骤来就好。 context.Response.ContentType="text/html;charset=utf-8"; return context.Response.WriteAsync("我是使用vscode开发的程序,现在运行在cnetos7上面
,请参考《如何在CDH中部署及使用Kylin》,文章中包含了如何在CDH上部署Kylin,以及创建cube,然后进行查询的两个demo例子。 本文主要描述如何在启用Kerberos的CDH集群中如何部署及使用Kylin。 3.部署Kylin ---- 这里测试只部署了一个节点,实际生产可以部署多个节点,kylin是无状态的,前端做负载均衡,kylin的负载均衡配置后续会有文章详细介绍。 7.授予kylin用户访问hive的权限,如果启用了sentry的情况下,需要做此操作,可以登陆beeline或HUE进行授权。 ? ? 7.查询构建完成的cube 先运行简单的count,可以看到耗时2.14s,再次执行基本在豪秒级,因为kylin支持缓存功能 ?
而且还提供了免费使用的Plan,以及免费的可以独立部署的社区版本 ,地址。 官网:传送门 镜像地址:传送门 3、本篇环境信息 服务器信息 服务器名称: GitLab 操作系统:Centos 7 硬件配置: 4C8G IP:192.168.0.10 说明:部署GitLab社区版 本次我们部署的是社区版: gitlab-ce ,如果要部署商业版可以把关键字替换为:gitlab-ee 1、Yum安装GitLab 下载指定版本的 gitlab,可以在清华大学镜像站去选择:地址 $ wget http://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-14.4.2-ce.0.el7.x86_64.rpm 安装GitLab 社区版 $ rpm -i gitlab-ce-14.4.2-ce.0.el7.x86_64.rpm 安装成功后会看到gitlab-ce打印了以下图形 image.png 2、配置 GitLab站点 Url
本文是《CDH+Kylin三部曲》的第一篇,整个系列由以下三篇组成: 准备工作:搭建CDH+Kylin环境前,将所有硬件、软件资源准备好 部署和设置:部署CDH和Kylin,再做相关设置 Kylin实战 关于CDH与Kylin Kylin的运行需要Hadoop、Hive、HBase等服务,因此用CDH来集中部署这些应用更为方便,下图来自Kylin官方,可见是支持CDH的: ? 官方说支持CDH6.0版本,但实际部署中发现Kylin2.6在CDH6.0.1环境启动会有问题,经尝试发现Kylin2.6+CDH5.16可以正常运行,本次实战就用这样的版本搭配; 部署方式 ansible 硬件准备 一部能运行ansible的电脑,我用的是MacBook Pro,也用CentOS验证过,都能顺利完成部署; 一台CentOS7.7电脑,用于运行HDFS、Hive、HBase、Spark、Kylin 下载文件(ansible电脑) 本次实战一共要准备13个文件,这里用表格列举如下: 编号 文件名 简介 1 jdk-8u191-linux-x64.tar.gz Linux版的jdk安装包 2 mysql-connector-java
-2.0.0-bin-hbase1x.tar.gz hadoop-2.7.2.tar.gz hbase-1.1.9-bin.tar.gz jdk-8u144-linux-x64.tar.gz zookeeper -3.4.8.tar.gz mysql:mysql-community-release-el7-5.noarch.rpm (当然也有虚拟机HDP可以配置好的这一系列,如果遇到问题也可以下方留言我们共同探讨 安装过程: 三个大步骤就可以完成环境的部署了,酒足饭饱,泡好茶客官准备开始咯: 1.更改服务器名称: 192.168.6.220 hadoop 这一行就是我们添加192.168.6.220 就是本地IP jdk-8u144-linux-x64.tar.gz zookeeper-3.4.8.tar.gz 为了整洁方便使用, 我统一解压放在根目录workspace ,jdk放在/user/java/目录下 yarn.nodemanager.remote-app-log-dir</name> <value>/YarnApp/Logs</value> </property> </configuration> slaves 由于是单机部署
前言 网上搜索了一筐如何在Linux下安装部署Redis的文章,各种文章混搭在一起勉强安装成功了。自己也记录下,方便后续安装时候有个借鉴之处。 Redis版本 5.0.4 服务器版本 Linux CentOS 7.6 64位 下载Redis 进入官网找到下载地址 Redis 右键Download按钮,选择复制链接。 假设不添加该关键字Linux会将可执行文件存放在/usr/local/bin目录, 库文件会存放在/usr/local/lib目录。配置文件会存放在/usr/local/etc目录。 我么可以通过cat、vim、less等Linux内置的读取命令读取该文件。 也可以通过redis-cli命令进入redis控制台后通过CONFIG GET * 的方式读取所有配置项。 关于直接输入redis-server不行的问题我还怀疑是不是Linux缓存问题,我重启服务器尝试下。结果还是一样的。。。
本文是《CDH+Kylin三部曲》系列的第二篇,上一篇《CDH+Kylin三部曲之一:准备工作》已将所需的机器和文件准备完毕,可以部署CDH和Kylin了; 执行ansible脚本部署CDH和Kylin 执行命令开始部署:ansible-playbook cm6-cdh5-kylin264-single-install.yml 整个部署过程涉及在线安装、传输大文件等耗时的操作,请耐心等待(半小时左右), 如果部署期间出错退出(例如网络问题),只需重复执行上述命令即可,ansible保证了操作的幂等性; 部署成功如下图所示: ? 启动Kylin:$KYLIN_HOME/bin/kylin.sh start 控制台输出以下内容说明启动Kylin成功: ? 至此,CDH和Kylin的部署、设置、启动都已完成,Kylin已经可用了,在下一篇文章中,我们就在此环境运行Kylin的官方demo,体验Kylin
https://zh.wikipedia.org/wiki/Mono 什么是Jexus https://www.jexus.org/ 本次部署环境? CnetOS 7 Mono 5 Jexus 5.8.2 需要的前置知识 vi命令,firewalld防火墙操作等 二、环境安装 Mono安装 #安装yum工具包 yum -y install yum-utils op=get&search=0x3FA7E0328081BFF6A14DA29AA6A19B38D3D831EF" yum-config-manager --add-repo http://download.mono-project.com /repo/centos7/ #执行安装 yum -y install mono-devel #查看安装结果 mono -V Jexus安装 #下载安装包 cd /home/downloads wget
以下是 Qt 开发麒麟 Linux 桌面应用程序的详细流程:1.准备开发环境麒麟 Linux 系统: 确保你有一台安装了麒麟 Linux(例如 Ubuntu Kylin 或 Kylin OS)的机器。 部署工具:linuxdeployqt: 这是 Qt 官方推荐的 Linux 部署工具。它可以自动收集你的应用程序所需的所有 Qt 依赖库,并将它们打包到一个可分发的目录或 AppImage 文件中。 测试: 在不同的麒麟 Linux 版本和硬件配置上测试你的应用程序,以确保其兼容性和稳定性。7.版本控制 (推荐)始终使用 Git(或 SVN)等版本控制系统来管理你的代码。 ARM 架构: 麒麟 Linux 广泛应用于国产化硬件,其中许多是基于 ARM 架构的。在编译和部署时,请确保你使用的 Qt 版本和编译器是针对目标 ARM 架构的。 通过遵循上述步骤,你可以在麒麟 Linux 系统上高效地开发和部署功能丰富且与系统深度集成的 Qt 桌面应用程序。
环境: 外网IP:139.198.15.121 内网IP:10.180.27.8
Linux tomcat部署War包,Linux在Tomcat部署JavaWeb项目,Linux部署War包 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> ©Copyright 蕃薯耀 2017年3月6日 http://fanshuyao.iteye.com/ 一、Linux快速部署War包操作,暂时是最简单的操作 1、先关闭Tomcat /home/java/tomcat7/bin unzip -oq finance.war -d /home/java/tomcat7/webapps/finance/ 说明: unzip -o:不必先询问用户,unzip执行后覆盖原有文件。 4、部署完后启动Tomcat /home/java/tomcat7/bin/startup.sh 二、以后可能会用到的命令 一、查看Tomcat进程 ps -ef|grep java 二、、杀死进程( tomcat部署War包,Linux在Tomcat部署JavaWeb项目,Linux部署War包 http://fanshuyao.iteye.com/blog/2360423 Linux下Tomcat