内容 版本 CentOS 7 64位 JDK 1.7 Cloudera Manager 5.14.1 本次安装一共使用3台服务器,主要用户测试。 /cm5/redhat/7/x86_64/cm/cloudera-manager.repo 下载rpm仓库文件 wget http://archive.cloudera.com/cm5/redhat/7 -5.14.1-1.cm5141.p0.2.el7.x86_64.rpm cloudera-manager.repo 使用 scp命令分配所需要的安装文件 安装Cloudera Manager 至此,所有设置完成 开始Cloudera Manager安装吧! 如果能访问,那证明 cloudera manager安装正常。
:断网 + rpm 安装 + yum本地源 以 CDH5.3.6 为例 软件下载:http://archive.cloudera.com/cm5/ 1.bin文件: http://archive.cloudera.com /cm5/installer/5.3.6/cloudera-manager-installer.bin 2.依赖rpm包 : http://archive.cloudera.com/cm5/redhat :$rpm -ivh ./*.rpm 安装 postgresql 1. bin文件进行安装 常见问题 No package oracle-j2sdk1.7 available. Error: Nothing to do $yum clean all $rm -rf /var/cache/yum/cloudera-* 到此为止,完成 cloudera server 的安装
JDK CentOS7默认安装的是OpenJDK,所以需要先卸载,然后安装Oracle JDK. 4.设置主机名(CentOS7与CentOS6主机名设置不同,请参考 https://www.linuxidc.com 6.下载mysql-connector-java.jar,并保存到所有主机的/usr/share/Java目录下 7.配置mysql,可以参考这里 7.1 mysql安装在主节点上,使用mysql命令登录 scm scm scm 8.将CDH安装包移动主节点的/opt/cloudera/parcel-repo目录下 移动的文件有: 将CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1 名称改成CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha 9.启动主节点的CM Server和所有节点的Agent 路径为:/opt/cloudera-manager 管理页面,网址为:http://hserver1n:7180, 用户名和密码都是admin 11.选择Cloudera Express 12.选择主机 13.群集安装 14.安装完成后,检查主机正确性
Cloudera Navigator作为Cloudera企业版的核心,还是有挺多用户在用的。它提供必要的审计和数据保护,来满足最严苛的规范限制。 3.使用管理员登录Cloudera Manager的WEB界面,进入Cloudera Management Service服务 [ls775tfnsv.jpeg] 4.点击“Instances”,进入实例界面 [yydrk27uhu.jpeg] 6.选择“Navigator Metadata Server”和“Navigator Audit Server”角色部署的节点 [4fxbtyveki.jpeg] 7. ] 9.选择“Navigator Audit Server”和“Navigator Metadata Server”服务启动角色 [occtujla7n.jpeg] [gu7ngxxcmb.jpeg] [g54atzckl.jpeg] 至此已完成Cloudera Navigator服务的安装。
Cloudera 简介 经过搜索发现Cloudera产品很适合笔者当前需求,于是开始研究Cloudera(CDH)的安装与使用,参考: Cloudera 官网:https://www.cloudera.com ;也带了Hive数据仓库工具帮助用户分析数据; 用户也能用Cloudera管理安装HBase分布式列式NoSQL数据库;Cloudera还包含了原生的Hadoop搜索引擎以及Cloudera Navigator Cloudera Manager Server与其他几个组件一起工作: agent - 安装在每台主机上。代理负责启动和停止进程,解包配置,触发安装和监视主机。 安装Cloudera Manager和CDH 系统环境:CentOS6.9 软件环境:Oracle JDK、Cloudera Manager Server 和 Agent 、数据库、CDH各组件 redhat/6/x86_64/cdh/cloudera-cdh5.repo # 安装jdk和cloudera-manager sudo yum install oracle-j2sdk1.7 -y
本文主要讲述如何安装Grafana并使用Cloudera Manager datasource 插件。 首先来直观地感受下Grafana炫酷的Demo. 下载Grafana rpm包 wget https://dl.grafana.com/oss/release/grafana-7.2.0-1.x86_64.rpm 安装Grafana [root@cdh1 ; disabled; vendor preset: disabled) Active: active (running) since Sat 2020-09-26 22:10:13 CST; 7s docs.grafana.org Main PID: 30699 (grafana-server) 访问Grafana web页面,默认端口为3000 首次登录用户为admin,密码可以随意,并且要求重置密码 安装 is working,API version is xx 表示配置成功 点击back 返回查看 7.添加图表 点击左侧home返回主页,然后点击New dashboard 准备添加第一张图表,点击Add
Cloudera Manager 安装 CDH5.x 心得 废话不多说,先展示下这几天捣鼓的成果 Cloudera Manager 管理配置界面 Hbase 管理界面及Hbase Web UI HDFS repo安装CM # 在CM节点执行 wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo -P 启动安装时会去cloudera官网找匹配的parcel安装包 重启cloudera-scm-server,查看实时日志 /etc/init.d/cloudera-scm-server restart tailf /var/log/cloudera-scm-server/cloudera-scm-server.log 通过CM管理界面安装CDH,注意事项 # CM server启动成功即可通过http 能一次性安装成功的最好,安装不成功建议多试几次,对初始化完成的虚拟机进行快照操作,便于恢复
Cloudera Hadoop Maven编译安装步骤详细教程 OS: Ubuntu 12.04 1.下载hadoop-0.20.2-cdh3u6.tar.gz源码包 http://www.cloudera.com 2.安装配置maven源 /etc/maven2/settings.xml apt-get install maven2 3.到search.maven.org上搜索下载缺少的jar包 jar包列表: 搜索方式 g:"org.apache.maven.plugins" AND a:"maven-surefire-plugin" AND v:"2.5" groupIP artifact version 4.安装 path/to/file A required class is missing: org/apache/maven/surefire/util/NestedCheckedException 需要在增加cloudera true</skipTests> </configuration> <version>2.16</version> </plugin> 6.编译hadoop mvn -f cloudera
Cloudera 发行指南 本指南包含面向安装人员和管理员的版本和下载信息。它包括发行说明以及有关版本和下载的信息。 Cloudera QuickStart 本指南介绍如何快速安装 Cloudera 软件并为概念证明 (POC) 或开发创建初始部署。 它介绍如何下载和使用 QuickStart 虚拟机,它会提供开始基本安装所需的所有内容。 它还介绍如何在包含 4 个主机的群集上创建 Cloudera Manager 5、CDH5 和托管服务的全新安装。快速入门安装仅应用于演示和 POC 应用程序,不推荐用于生产。 Cloudera 安装和升级 本指南提供了 Cloudera 生产部署的软件要求和安装信息以及升级过程。本指南还提供 Cloudera 软件的特定端口信息。
7.el6.x86_64 2、安装mysql mysql的安装有三种方式: rpm包安装(本次就采用rmp包的安装方式进行演示) 源码安装(提供了源码安装的脚本) yum安装(虽然安装方便,但是不建议使用 mysql重新用rmp包安装的。 二、启动cloudera-scm-server 在启动cloudera-scm-server的时候报如下的错误(启来30秒左右自动关闭,查看日志文件:/opt/cm-5.11.1/log/cloudera-scm-server (我就是这种方案解决的); 三、启动cloudera-scm-agent 在启动cloudera-scm-server的时候报如下的错误(启来30秒左右自动关闭,查看日志文件:/opt/cm-5.11.1 /log/cloudera-scm-agent/cloudera-scm-agent.log) ERROR Failed to connect to newly launched supervisor.
1.问题描述 ---- 在RedHat7.x上启动了Cloudera Manager Server服务,Web界面访问正常,集群各个服务均正常,集群状态正常如下图所示: [ktlspb4p0x.jpeg Hint: Some lines were ellipsized, use-l to show in full. ec2-user@ip-172-31-22-86~$ [ep8f7lt9mj.jpeg] 2.问题分析 ---- 在使用systemctl status cloudera-scm-server输出CM服务器的状态时,因为OS检测到Cloudera Manager启动后,不知道如何跟踪Cloudera 通过查看/var/log/cloudera-scm-server/cloudera-scm-server.log的方式 [root@ip-172-31-22-86 cloudera-scm-server [q7rmzncvtv.jpeg] 如上日志显示”ScmActivecompleted successfully”信息则表示CM服务启动成功。
,会看到如下页面,实际也就是Cloudera Manager的主页。 1.1.3.Cloudera Management Service ---- 这是一个包含Cloudera Manager Service链接的表格。 [sex7gdonnc.png] 要设置仪表盘类型,可以点击 [567q8faw52.png] 进行设置。 1.自定义– 显示自定义仪表盘。 2.默认– 显示默认仪表盘。 [jsjye7bpa5.jpeg] [vyvs4tyrct.jpeg] 4.所有最新命令 ---- 按集群显示所有最近运行的命令。 然后你就会看到Cloudera Manager的管理控制台登录界面。 2.使用管理员分配的凭据(账号/密码)登录到Cloudera Manager管理控制台。
今天,我们将带你深入探索Cloudera的安装规划与系统环境搭建部署,为你的企业数据之旅铺设坚实的基石。 但在此之前,我们需要精心规划、细致部署。 接下来,我们将一步步引导你完成 Cloudera 的安装规划与系统环境搭建,为企业数据中心的管理变得简单直观。 系统环境准备、安装基础环境 1.选择三台已安装 Centos6 Liunx 系统的节点,分配资源 安装 CDH 节点推荐内存为64G,大部分内存被 Cloudera Management Service 7.配置yum源 这里我们选择使用本地 yum源。 如果你想了解更多关于:Cloudera系统环境准备、基础环境安装、集群部署以及应用组件安装等全方位的技术的问题,可以关注我。
Kudu基于Cloudera Manager安装及配置使用Kudu一般都会和impala进行整合,impala与Hive是强依赖关系,需要安装Hive,安装Hive需要安装HDFS等,以上各个技术组件的版本都需要对应匹配 ,由于Kudu没有直接的安装包,为了方便我们可以选择基于Cloudera Manager进行安装Kudu及相关大数据组件。 Agentcm2192.168.179.202Agentcm3192.168.179.203Agent一、启动CM集群#在cm1节点中启动ClouderaManager Serversystemctl start cloudera-scm-server #在cm1、cm2、cm3中启动ClouderaManager Agentsystemctl start cloudera-scm-agent#登录Cloudera Manager user:admin WAL目录和数据目录等待安装完成即可,可以通过Cloudera Manager 界面来访问Kudu。
Cloudera提供了补充方法来加密静态数据,并提供了屏蔽日志文件,审核数据和SQL查询中的PII的机制。 可用的加密选项 Cloudera提供了多种机制来确保敏感数据的安全。 下图显示了使用示例部署: Cloudera透明HDFS加密可加密HDFS上存储的数据 Navigator Encrypt对与Cloudera Manager,Cloudera Navigator,Hive Cloudera集群的数据整理 编辑是一个使数据模糊的过程。 数据编辑与Cloudera 加密技术分开工作,Cloudera 加密技术不会阻止对集群具有完全访问权限的管理员查看敏感的用户数据。 为了安全地存储所需的加密密钥,Cloudera建议将Cloudera Navigator密钥受托服务器与HDFS加密结合使用。
通过自带的控件或者第三方可以做出非常炫酷的界面,也能非常直观的展示各项监控指标,本文主要讲述如何安装Grafana并使用Cloudera Manager datasource 插件 具体展示如下: ? 下载安装 1.Grafana 安装包下载 网页地址:https://grafana.com/grafana/download?platform=linux ? 安装Cloudera Manager datasource插件 1. 使用离线的方式安装Cloudera Manager datasource https://grafana.com/grafana/plugins/foursquare-clouderamanager-datasource 7.添加图表 点击左侧home返回主页,然后点击New dashboard 准备添加第一张图表 ? 点击Add query ? 选择query 类型为Cloudera Manager ?
rpm --import https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPM-GPG-KEY-cloudera 1 2 3 4 5 6 7 需要下载的内容是: cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm cloudera-manager-daemons-6.0.1-610811.el7 cloudera-manager-agent-6.0.1-610811.el7.x8664.rpm cloudera-manager-daemons-6.0.1-610811.el7.x8664.rpm cloudera-manager-server-6.0.1-610811.el7.x8664.rpm 先安装 cloudera-manager-daemons-6.0.1-610811.el7.x8664 1 2 3 4 5 6 7 8 9 10 11 12 先安装下面的内容,因为cloudera-manager-agent依赖这些 yum install bind-utils psmisc cyrus-sasl-plain
一开始用的CentOS7安装的tomcat7,CentOS7自带了httpd服务,80端口是被占用的,卸载了httpd服务后,安装好了openjdk之后安装tomcat7,接着发现默认的端口是8080, 好无语,在CentOS7上死活没折腾出结果,改成1024以上的端口都是好使的,低于1024的端口都不行,我估计是权限的问题,默认1024下的端口不给权限应该。 apt-get remove apache* 全给它卸掉,之后安装Java,为了省力。 我直接运行命令 apt-get update apt-get install java-package apt-get install tomcat7 一切完事之后就是修改端口号, /etc/tomcat7 接着重启服务 service tomcat7 start 好了,ok。
Cloudera Manager的主要功能是安装和升级Cloudera Runtime和其他托管服务。Cloudera Manager支持两种软件分发格式:package和parcel。 Cloudera Manager对每个受支持的OS使用原生的系统软件包管理器来安装和升级Cloudera Manager。 它们默认安装在中/opt/cloudera/parcels。相反,软件package安装在中/usr/lib。 不使用sudo命令就可以安装Cloudera Runtime。parcel的安装由以root或另一个用户身份运行的Cloudera Manager Agent处理,因此您可以不带 sudo。 主要版本升级(例如,从CDH 5到Cloudera Runtime 7)需要重新启动所有服务,因为版本之间存在重大变化。最后,您可以同时升级单个parcel或多个parcel。
Cloudera不提供Kerberos实现。 AD绑定帐户 -创建一个将在Hue,Cloudera Manager和Cloudera Navigator中用于LDAP绑定的AD帐户。 用于基于角色访问Cloudera Manager和Cloudera Navigator的 AD组-创建AD组并将成员添加到这些组中,以便您以后可以配置对Cloudera Manager和Cloudera 04 — 使用TLS/SSL进行安全的Keytab分发 Kerberos keytab文件在Cloudera Manager集群中的主机之间,Cloudera Manager Server和Cloudera 为了确保此敏感数据的安全,请配置Cloudera Manager服务器和Cloudera Manager代理主机以使用TLS / SSL进行加密通信。