:断网 + rpm 安装 + yum本地源 以 CDH5.3.6 为例 软件下载:http://archive.cloudera.com/cm5/ 1.bin文件: http://archive.cloudera.com /cm5/installer/5.3.6/cloudera-manager-installer.bin 2.依赖rpm包 : http://archive.cloudera.com/cm5/redhat :$rpm -ivh ./*.rpm 安装 postgresql 1. bin文件进行安装 常见问题 No package oracle-j2sdk1.7 available. Error: Nothing to do $yum clean all $rm -rf /var/cache/yum/cloudera-* 到此为止,完成 cloudera server 的安装
内容概述 1.Navigator介绍 2.Navigator安装 3.Navigator访问 测试环境 1.操作系统RedHat7.3 2.CM和CDH版本为5.13.1 3.集群已启用Kerberos 2.Navigator介绍 ---- Cloudera Navigator是唯一为大数据和Apache Hadoop提供集成数据管理和监管的工具。 Cloudera Navigator作为Cloudera企业版的核心,还是有挺多用户在用的。它提供必要的审计和数据保护,来满足最严苛的规范限制。 Navigator服务的安装。 Metadata Server” [p419jwee21.jpeg] 2.在Cloudera Manager首页点击“Clusters”菜单 [ept8w59i0d.jpeg] 也可以在浏览器输入如下地址访问
Cloudera 简介 经过搜索发现Cloudera产品很适合笔者当前需求,于是开始研究Cloudera(CDH)的安装与使用,参考: Cloudera 官网:https://www.cloudera.com Cloudera Manager Server与其他几个组件一起工作: agent - 安装在每台主机上。代理负责启动和停止进程,解包配置,触发安装和监视主机。 * * * * /usr/sbin/ntpdate 0.cn.pool.ntp.org >> /dev/null 2>&1 Cloudera安装步骤 阶段1:安装JDK(忽略) [Java SE 8 JDK,因为CM源有封装好的jdk, 阶段2:设置数据库 # 使用mysql数据库,提前安装好mysql # mysql -u root -ppassword -e "create database cmf redhat/6/x86_64/cdh/cloudera-cdh5.repo # 安装jdk和cloudera-manager sudo yum install oracle-j2sdk1.7 -y
本文主要讲述如何安装Grafana并使用Cloudera Manager datasource 插件。 首先来直观地感受下Grafana炫酷的Demo. 下载Grafana rpm包 wget https://dl.grafana.com/oss/release/grafana-7.2.0-1.x86_64.rpm 安装Grafana [root@cdh1 docs.grafana.org Main PID: 30699 (grafana-server) 访问Grafana web页面,默认端口为3000 首次登录用户为admin,密码可以随意,并且要求重置密码 安装 Manager 数据展示 1.设置默认的数据源 点击 Add data source > 选中 Cloudera Manager,填写配置如下,并点击Save&Test ,出现datasource tsquery,至于什么是tsquery,我们会在后面介绍 然后点击右侧的Visualization 按钮可以选择图表类型,我们选择Graph Cloudera Manager 对于集群磁盘IO的统计是数据传输率
Cloudera Manager 安装 CDH5.x 心得 废话不多说,先展示下这几天捣鼓的成果 Cloudera Manager 管理配置界面 Hbase 管理界面及Hbase Web UI HDFS repo安装CM # 在CM节点执行 wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo -P /yum.repos.d # yum clean all && yum makecache # 建议执行不强制 yum install oracle-j2sdk1.7 -y yum install cloudera-manager-daemons 启动安装时会去cloudera官网找匹配的parcel安装包 重启cloudera-scm-server,查看实时日志 /etc/init.d/cloudera-scm-server restart tailf /var/log/cloudera-scm-server/cloudera-scm-server.log 通过CM管理界面安装CDH,注意事项 # CM server启动成功即可通过http
/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-server-db-2-5.14.1-1.cm5141.p0.1.el7.x86_ /RPMS/x86_64/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm 下载cloudera-manager安装文件 访问:http://archive.cloudera.com 开始Cloudera Manager安装吧! /cloudera-scm-server/cloudera-scm-server.log 如果是3台机器一般会出现错误: 在CM console中将副本设为2: dfs.replication=2 在所有的节点命令行执行 : hadoop fs -setrep 2 / 安装要点: 仔细,认真,严格按照步骤 常见问题:网络,防火墙等主机设置 碰到问题:查看日志&官网&百度 cloudera JDBC Driver com.mysql.jdbc.Driver
Cloudera Hadoop Maven编译安装步骤详细教程 OS: Ubuntu 12.04 1.下载hadoop-0.20.2-cdh3u6.tar.gz源码包 http://www.cloudera.com 2.安装配置maven源 /etc/maven2/settings.xml apt-get install maven2 3.到search.maven.org上搜索下载缺少的jar包 jar包列表: 搜索方式 g:"org.apache.maven.plugins" AND a:"maven-surefire-plugin" AND v:"2.5" groupIP artifact version 4.安装 path/to/file A required class is missing: org/apache/maven/surefire/util/NestedCheckedException 需要在增加cloudera true</skipTests> </configuration> <version>2.16</version> </plugin> 6.编译hadoop mvn -f cloudera
问题导读 1.Cloudera 提供了那些产品和工具? 2.Cloudera Navigator的作用是什么? Cloudera 发行指南 本指南包含面向安装人员和管理员的版本和下载信息。它包括发行说明以及有关版本和下载的信息。 Cloudera QuickStart 本指南介绍如何快速安装 Cloudera 软件并为概念证明 (POC) 或开发创建初始部署。 它还介绍如何在包含 4 个主机的群集上创建 Cloudera Manager 5、CDH5 和托管服务的全新安装。快速入门安装仅应用于演示和 POC 应用程序,不推荐用于生产。 Cloudera 安装和升级 本指南提供了 Cloudera 生产部署的软件要求和安装信息以及升级过程。本指南还提供 Cloudera 软件的特定端口信息。
7.el6.x86_64 2、安装mysql mysql的安装有三种方式: rpm包安装(本次就采用rmp包的安装方式进行演示) 源码安装(提供了源码安装的脚本) yum安装(虽然安装方便,但是不建议使用 二、启动cloudera-scm-server 在启动cloudera-scm-server的时候报如下的错误(启来30秒左右自动关闭,查看日志文件:/opt/cm-5.11.1/log/cloudera-scm-server : Could not open connection 错误原因: 1.缺少mysql的驱动包,检查/opt/cm-5.11.1/share/cmf/lib目录下是否有mysql的驱动; 2.检查mysql 是否启动; 3.mysql本身的问题,只能卸载mysql重新安装(我就是这种方案解决的); 三、启动cloudera-scm-agent 在启动cloudera-scm-server的时候报如下的错误( server和agent服务都是关闭的) 2.删除mysql中cmf数据库 3.删除从节点中/opt/cm-5.11.1目录 4.重新复制到从节点 scp -r /opt/cm-5.11.1 root@
2.默认– 显示默认仪表盘。 3.重置内容– 重置自定义仪表盘和预定义的一组图表,放弃任何自定义设置。 [qo59izjyf8.jpeg] 2.所有运行状况问题 ---- 按集群显示所有运行状况问题。 2.默认情况下,对话框中只显示不良(Bad)的健康测试结果。要显示“存在隐患”(Concerning)的测试结果,可以点击“Also show n concerning issue(s)“链接。 Cloudera Manager右上角的图标 [uiudsz1ih2.png] 显示当前还有几个命令正在运行。点击“所有最新命令”链接显示所有命令或者子命令的详细信息。 [jgb4sn2l77.jpeg] 5.启动并登录到管理控制台 ---- 1.在火狐或者谷歌浏览器中,输入http://Server host:7180,Server host可以是运行Cloudera 然后你就会看到Cloudera Manager的管理控制台登录界面。 2.使用管理员分配的凭据(账号/密码)登录到Cloudera Manager管理控制台。
Kudu基于Cloudera Manager安装及配置使用Kudu一般都会和impala进行整合,impala与Hive是强依赖关系,需要安装Hive,安装Hive需要安装HDFS等,以上各个技术组件的版本都需要对应匹配 ,由于Kudu没有直接的安装包,为了方便我们可以选择基于Cloudera Manager进行安装Kudu及相关大数据组件。 Agentcm2192.168.179.202Agentcm3192.168.179.203Agent一、启动CM集群#在cm1节点中启动ClouderaManager Serversystemctl start cloudera-scm-server #在cm1、cm2、cm3中启动ClouderaManager Agentsystemctl start cloudera-scm-agent#登录Cloudera Manager user:admin WAL目录和数据目录等待安装完成即可,可以通过Cloudera Manager 界面来访问Kudu。
今天,我们将带你深入探索Cloudera的安装规划与系统环境搭建部署,为你的企业数据之旅铺设坚实的基石。 但在此之前,我们需要精心规划、细致部署。 接下来,我们将一步步引导你完成 Cloudera 的安装规划与系统环境搭建,为企业数据中心的管理变得简单直观。 系统环境准备、安装基础环境 1.选择三台已安装 Centos6 Liunx 系统的节点,分配资源 安装 CDH 节点推荐内存为64G,大部分内存被 Cloudera Management Service 12. servicentpdstart#启动ntpd服务 10.安装JDK 给每台节点安装jdk,这里我们安装的CDH版本为5.4,在官网https://www.cloudera.com/documentation 如果你想了解更多关于:Cloudera系统环境准备、基础环境安装、集群部署以及应用组件安装等全方位的技术的问题,可以关注我。
下图显示了使用示例部署: Cloudera透明HDFS加密可加密HDFS上存储的数据 Navigator Encrypt对与Cloudera Manager,Cloudera Navigator,Hive 数据编辑与Cloudera 加密技术分开工作,Cloudera 加密技术不会阻止对集群具有完全访问权限的管理员查看敏感的用户数据。 For web interfaces, inter-component replication, the HBase shell and the REST, Thrift 1 and Thrift 2 interfaces Yes HiveServer2 SASL (Thrift), SASL (JDBC), TLS (JDBC, ODBC) Yes Hue TLS Yes Impala TLS or SASL (RPC) Yes Spark None Yes Sqoop Partial - Depends on the RDBMS database driver in use Yes Sqoop2
通过自带的控件或者第三方可以做出非常炫酷的界面,也能非常直观的展示各项监控指标,本文主要讲述如何安装Grafana并使用Cloudera Manager datasource 插件 具体展示如下: ? 下载安装 1.Grafana 安装包下载 网页地址:https://grafana.com/grafana/download?platform=linux ? 2.启动Grafana systemctl start grafana-server systemctl status grafana-server ? 安装Cloudera Manager datasource插件 1. 使用离线的方式安装Cloudera Manager datasource https://grafana.com/grafana/plugins/foursquare-clouderamanager-datasource
安装NTP 兼容RHEL的命令: yum install ntp 1 2. 1 2.安装Software Collections utilities (3个节点都执行以下命令) yum install scl-utils 1 3.安装Python 1 2 3 4 执行完成之后,分别执行 ssh cdh1 ssh cdh2 ssh cdh3 1 2 3 如果不需要再进行密码设置,说明免密设置已经完成了 4.3 安装 1.x86_64.rpm 1 2 3 4 5 6 将以上安装文件可以放到/root目录下 关于安装: Master节点(cdh1): yum -y install cloudera-manager-agent 1 2 3 4 5 6 7 8 9 10 11 12 先安装下面的内容,因为cloudera-manager-agent依赖这些 yum install bind-utils psmisc cyrus-sasl-plain
CM Agent CM Agent NameNode DateNode DateNode Mysql 2.操作系统:CentOS 7 3.Cloudera Manager:5.14.1 4.CDH :5.14.0 5.JDK1.8 二、软件下载地址 1.Cloudera Manager 2.CDH 3.JDK和MySQL自行搜索 三、系统环境设置: 以下步骤都使用root用户操作 1.设置静态IP 将selinux=enforcing改成selinux=disabled 重启虚拟机 3.安装JDK CentOS7默认安装的是OpenJDK,所以需要先卸载,然后安装Oracle JDK. 4 五、安装Clouder Manager及CDH 所有节点操作: 1.新建目录 $ sudo mkdir /opt/cloudera-manager 2.将下载的Clouder Manager解压到此目录下 管理页面,网址为:http://hserver1n:7180, 用户名和密码都是admin 11.选择Cloudera Express 12.选择主机 13.群集安装 14.安装完成后,检查主机正确性
Cloudera Manager的主要功能是安装和升级Cloudera Runtime和其他托管服务。Cloudera Manager支持两种软件分发格式:package和parcel。 Cloudera Manager对每个受支持的OS使用原生的系统软件包管理器来安装和升级Cloudera Manager。 它们默认安装在中/opt/cloudera/parcels。相反,软件package安装在中/usr/lib。 内部一致性-所有Cloudera Runtime组件都匹配,从而消除了从不同Cloudera Runtime版本安装组件的可能性。 不使用sudo命令就可以安装Cloudera Runtime。parcel的安装由以root或另一个用户身份运行的Cloudera Manager Agent处理,因此您可以不带 sudo。
Cloudera不提供Kerberos实现。 用于基于角色访问Cloudera Manager和Cloudera Navigator的 AD组-创建AD组并将成员添加到这些组中,以便您以后可以配置对Cloudera Manager和Cloudera 04 — 使用TLS/SSL进行安全的Keytab分发 Kerberos keytab文件在Cloudera Manager集群中的主机之间,Cloudera Manager Server和Cloudera required for HBase Thrift and REST clients HDFS Kerberos, SPNEGO (HttpFS) HiveServer None HiveServer2 HDFS) Oozie Kerberos, SPNEGO Pig Kerberos Search Kerberos, SPNEGO Spark Kerberos Sqoop Kerberos Sqoop2
Flow Management和Edge Management以前都是隶属于HDP的相关产品,Cloudera此次官宣代表的是它们现在可以与CDH一起安装并使用,包括使用Cloudera Manager 进行简易的Parcel安装和服务监控。 2.持续数据摄取 - 无法处理来自多个源的高速,大量的流数据。 3.日志摄取 - 无法从企业中的数千个应用程序或系统中摄取日志数据。 通过利用Cloudera Flow Management,您的企业可以获得这些好处: 1.防止厂商锁定并促进创新 - 100%开源技术 2.减少数据集成开发时间和成本 - 成熟的Nifi产品包括超过300 2 Cloudera Edge Management 如果您的企业正在实施IoT或具有复杂的边缘流使用场景,并且存在以下一系列边缘管理挑战,那么您应该了解Cloudera Edge Management
01 — Cloudera访问授权概述 授权是任何计算环境的基本安全要求之一。其目标是确保只有适当的人员或流程才能访问,查看,使用,控制或更改特定的资源,服务或数据。 Permissions, Ranger YARN File Permissions, Ranger Accumulo Ranger HBase HBase ACLs, Ranger HiveServer2 Oozie ACLs Pig File Permissions Search File Permissions Spark File Permissions, Ranger Sqoop N/A Sqoop2 None ZooKeeper ACLs Cloudera Manager Cloudera Manager roles Backup and Disaster Recovery N/A 来源:https ://docs.cloudera.com/cloudera-manager/7.0.3/security-overview/topics/cm-security-authorization-overview.html