cdh集群mysql数据库宕机 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

如何在CDH集群的非元数据库节点安装MySQL5.7.12

1.文档编写目的 ---- 在CDH集群中默认使用的MySQL版本是操作系统自带的版本，一般操作系统自带的MySQL版本都会比较低，对于企业已有应用可能会用较新的MySQL版本，使用集群中安装的MySQL...时可能会出现SQL不兼容的问题，那么解决方法一是在集群中安装新版本的MySQL，二是升级集群中老版本的MySQL。...本文主要选择第一种方法在集群中安装新版本的MySQL，在RedHat6安装时会遇到mysql-community-libs包冲突的问题，卸载冲突包时会将cloudera-manager-agent包也卸载导致...Agent异常，在RedHat7安装时会自动更新mysql-community-libs依赖包，本文档主要讲述基于RedHat7.2系统的CDH集群中的非元数据库节点安装MySQL5.7.12。...内容概述 1.安装前准备 2.安装及配置 3.验证测试环境 1.操作系统：RedHat7.2 2.采用sudo权限的ec2-user用户操作前置条件 1.集群运行正常 2.选择非元数据库节点安装MySQL5.7.12

1.4K6 0

如何修改CDH集群元数据库地址

，迁移后数据库的IP地址发生变化或是元数据库做主备，在主节点挂掉后，我们需要将数据库CDH集群中的元数据库地址指向新的IP或备用元数据库。...本篇文章Fayson主要介绍如何修改CDH集群元数据库IP地址。...4.停止CM和CDH集群后，如果是迁移数据库则可以对数据库进行迁移操作（如果只是主备切换则跳过此步）将原MariaDB数据库数据导出 [root@cdh01 ~]# mysqldump -uroot...在新的数据库节点上，接导出的dump文件导入 [root@cdh02 ~]# mysql -uroot -p< all.dump Enter password: [root@cdh02 ~]# mysql...4.进入Sentry配置界面，选择“Sentry Server数据库”类别，修改数据库主机为cdh02.fayson.com ? 5.完成以上配置后，回到CM主页重启CDH集群 ? 集群启动成功 ?

3.6K4 1

您找到你想要的搜索结果了吗？

是的

没有找到

CDH集群添加主机

给已有集群添加主机 1. 给CM添加主机经过这些操作后，node04这台主机就被CM管理起来了，但是他还不属于任何一个集群 2....给已有集群添加主机参考： https://www.jianshu.com/p/e0990d4d907b

1.1K2 0

mysql宕机日记

LinuxMysql服务器背景今天博客突然打不开，一看需要连接数据库的网站都挂了,静态网站没挂，猜测是数据库问题。...查看mysql状态,果然是挂了 service mysql status image.png 看了一眼监控应该是昨晚内存爆了 image.png 查看占用内存较多的进程： ps aux|head -1;

1.4K2 1

CDH集群删除主机节点

CM 集群下线节点，主要参考官方文档：操作前调优文档： https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_decomm_host.html...5、下线结束后，可以去集群后台使用命令查看各个节点在迁移后的磁盘使用率 hdfs dfsadmin -report 在下线过程中，可能存在以下情况：参数调优时，设置参数过大，同步速度快但是集群负载高，...附录： hdfs fsck 参数详解： Total size ： hdfs集群存储大小，不包括复本大小。...，如果不为0，则缺失块了 Corrupt blocks ：坏块的数量，这个值不为0，则说明当前集群有不可恢复的块，即数据有丢失了当下架节点时Under-replicated blocks\...Mis-replicated blocks\Missing replicas，这三个参数会显示当前，需要补的块的数量，集群会自动补全，当三个参数都为0时，则集群块的复制块完全了。

3.5K1 0

如何禁用CDH集群Kerberos

本篇文章Fayson主要介绍如何禁用CDH集群的Kerberos及禁用后对各组件服务的测试。...内容概述 1.集群环境说明 2.禁用Kerberos及启动服务 3.验证服务及各个服务功能 4.总结测试环境 1.CM和CDH版本为5.12.1 2.集群已启用Kerberos 3.集群已启用Sentry...2.集群环境介绍 ---- 1.CDH集群已启用Kerberos ?...2.禁用前集群HDFS信息 ? 3.禁用Kerberos ---- 1.通过CM停止CDH集群的所有服务 ? 服务停止成功 ? ?...7.总结 ---- 禁用CDH集群的Kerberos服务，主要是依赖Zookeeper的各个服务对Znode的读取权限，这里Fayson比较暴力直接将Zookeeper的数据目录删除重新初始化。

6.6K6 0

CDH集群安装&测试总结

CDH集群测试主要包括以下几个方面的内容： 1.装机（pxe），搭建服务器集群基础环境 2.安装CDH集群，调试集群的健康状况，使集群可用 3.测试集群性能，优化集群，使用测试框架（如Intel...CDH集群的基础建设进行介绍，基础建设简称基建，主要是为了支撑CDH集群后序工作流畅进行的一系列Linux系统的设置工作，基础建设工作没有做好，后面安装使用集群过程中会出现很多莫名奇妙的错误。...为Cloudera Manager 5建立数据库，可以用Mysql，或者自带的postgresql ，本文采用自带的数据库进行测试。...8.数据库配置。根据创建数据表选择所对应的服务即可。 9.集群设置。选择默认，集群开始安装，完成，访问集群serverIP:7180/cmf，ok。...切换到光纤后，需要修改机器机器ip，这时候cdh居然没法启动了，百度之后，发现如果使用自带数据库postgresql，需要修改hosts表中记录的元数据信息：修改CDH集群ip 3.1 简介 hibench

2.8K4 0

Cassandra集群删除宕机节点

1.前言因为项目要处理大数据量的环境数据,所以我们采用了Cassandra集群的方式来存储我们的数据,但是前几天集群中有一台Cassandra突然崩掉了,报错原因如下: ?.../cassandra 2.2查看集群信息通过以下命令即可 nodetool describecluster ? 2.3查看节点详细信息 ..../nodetool status 这里我们就能够看到集群里面各个节点的状态 ? 出现DN标志的就说明是已经宕机的节点了,也就是我们需要删除的节点 2.4删除宕机节点我们通过以下即可删除 ..../nodetool removenode 宕机节点的Host ID Host ID可以通过上面节点的详细查看到,这个过程会比较的漫长,查阅网上的资料,是这样的解释的,这里删除的节点并不是真的直接删除该节点...关心删除节点状态的话,可以通过以下的命令进行查看 nodetool removenode status 如果删除过程实在是太长的话,并且数据无关紧要,可以丢弃的情况下,可以通过以下的命令直接删除该宕机节点

2.6K2 0

大数据CDH集群安装实录

简介：通过ClouderaManager管理CDH集群，从而为大数据集群做统一管理，在整个大数据集群运维的角度来说，提供了很多便利点。...采用rpm的方式直接安装即可：rpm -qa | grep mysql # 查看是否已安装mysql数据库yum -y remove mysql # 删除原有MySQL数据库// 依次安装下载的...'; # 修改root账户密码为123456mysql> flush privileges; # 刷新权限mysql> quit;// 再次进入mysql数据库，并建几个DBmysql> create...：mv mysql-connector-java-5.1.39.jar /usr/sharc/java/mysql-connector.jar三、CM和CDH组件安装写在前面：在安装CDH集群的时候，我们将分配以下角色到测试环境...这个时候，建议使用我自己的一个小窍门：# 直接连接mysql数据库，然后使用scm数据库mysql>use scm;# 修改HOSTS表内容，直接对IP地址进行修改即可,如：mysql>update HOSTS

1.1K1 0

如何实现CDH元数据库MySQL的高可用

Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面Fayson讲过《如何实现CDH...元数据库MySQL的主主互备》，那如何做到MySQL的高可用呢？.../bin/bash MYSQL_PING=`mysqladmin -uroot -p123456 ping` MYSQL_OK="mysqld is alive" if [[ "$MYSQL_PING...3.查看MySQLA服务器的IP地址绑定情况 [js3dwy0jfh.jpeg] 4.再次登录MariaDB [lmpcf7xm6r.jpeg] 这时我们看到MariaDB数据库依然能够正常访问，说明已连接到...MySQLA服务的MariaDB数据库。

4K3 1

MySQL数据库，浅谈MySQL集群原理

MySQL集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案，其目的是提供容错性和高性能。...它采用了 NDB Cluster 存储引擎，允许在 1 个群集中运行多个 MySQL 服务器。初步掌握MySQL集群原理是我们学习MySQL集群要迈出的第一步。 ?...通过多个MySQL服务器分配负载，从而最大程序地达到高性能，通过在不同位置存储数据保证高可用性和冗余。那么MySQL集群是如何存储数据的呢？...由于同步复制一共需要4次消息传递，故MySQL cluster的数据更新速度比单机MySQL要慢。...随着计算机和信息技术的迅猛发展和普及，行业应用系统的规模迅速扩大，行业应用所产生的数据量量呈爆炸式增长，类似于MySQL集群这样的技术得到了广泛的运用，MySQL集群原理的运用就显得尤其重要。

3.9K2 0

如何在CDH集群启用Kerberos

1.文档编写目的 ---- 本文档讲述如何在CDH集群启用及配置Kerberos，您将学习到以下知识： 1.如何安装及配置KDC服务 2.如何通过CDH启用Kerberos 3.如何登录Kerberos...并访问Hadoop相关服务文档主要分为以下几步： 1.安装及配置KDC服务 2.CDH集群启用Kerberos 3.Kerberos使用这篇文档将重点介绍如何在CDH集群启用及配置Kerberos，...并基于以下假设： 1.CDH集群运行正常 2.集群未启用Kerberos 3.MySQL 5.1.73 以下是本次测试环境，但不是本操作手册的必需环境： 1.操作系统：CentOS 6.5 2.CDH和...此处需要输入Kerberos数据库的密码。...3.CDH集群启用Kerberos ---- 1.在KDC中给Cloudera Manager添加管理员账号 [root@ip-172-31-6-148 cdh-shell-bak]# kadmin.local

7.4K9 2

使用Ansible快速部署CDH集群

配置CDH集群hosts的Inventory 文件根据集群的实际情况进行调整 vi ~/ansible_hosts [scm_server] jacky-1.vpc.cloudera.com [db_server...通过该playbook部署的集群，是一个开启了Kerberos、配置了安全并启用组件高可靠的集群。...这是可以通过访问CM来查看刚刚部署的CDH集群了。 2.6. 集群截图 2.6.1. 进入系统使用CM的默认管理员账号(admin/admin)进入系统 ?...配置yum源由于国内网络问题，基本上不可能在线部署CDH集群，需要在本地制作yum源。程序默认使用的是Cloudera公司的repository，因此需要将其调整为本地的yum源来进行部署。...创建本地的yum源和CDH parcel库的方法参考CDH集群部署手册，这里主要讲如果调整Cloudera playbook的内容。

3.4K0 1

如何实现CDH元数据库MySQL的主备

1.文档编写目的 ---- MySQL数据库自身提供的主从复制功能可以方便的实现数据的多处自动备份，实现数据库的扩展。...多个数据备份不仅可以加强数据的安全性，通过实现读写分离还能进一步提升数据库的负载性能。本文档讲述如何实现MySQL主从复制。...CDH集群在运行过程中，MySQL的负载并不会太高，推荐的方式是Active-Passive模式，以降低维护成本和维护难度。...3.采用root用户操作前置条件 1.两个MySQL版本必须一致 2.两个MySQL已安装好，且没有任何数据 3.主MySQL必须开启bin-log日志 2.MySQL主从复制 2.1Master和...Slave配置 ---- 配置文件说明： log-bin：开启二进制日志，日志文件前缀 server-id：数据库服务的唯一标识确保标识不重复，一般设置为服务器ip的末尾数 binlog-format：

3K8 0

CDH集群跨多版本滚动升级

，开发环境的CDH集群版本为5.10.0过低，需要将开发环境的CDH集群滚动升级至5.12.1版本，与生产环境版本一致。...集群的HDFS和YARN已启用高可用 2.集群升级说明 ---- 1.原Cloudera Manager和CDH的版本为5.10.0 2.Cloudera Manager和CDH的目标升级版本为5.10.2...3.集群已开启NameNode高可用 4.集群已开启Resource Manager高可用升级前CM和CDH集群版本为 ?...4.升级Cloudera Manager ---- 1.停止服务并备份数据库通过CM查看Cloudera Management服务使用到的元数据库 ? ?...集群 CDH集群的NameNode和ResourceManager启用了高可用用后，从CDH5.10.0到CDH5.12.1的升级是支持滚动升级的。

1.6K2 0

如何在CDH集群中部署Presto

本篇文章Fayson主要介绍如何在CDH集群部署Presto并与Hive集成。...该步骤需要在Presto集群的所有节点进行操作，这里以cdh01.fayson.com节点为例。...配置说明： node.environment：集群名称。所有在同一个集群中的Presto节点必须拥有相同的集群名称。 node.id：每个Presto节点的唯一标示。...5.Presto服务启停 ---- 1.在Presto集群的所有节点执行如下命令启动Presto服务 [root@cdh01 bin]# /opt/cloudera/parcels/presto/bin...2.在Presto集群的所有节点执行如下民拿过来停止Presto服务 [root@cdh01 bin]# /opt/cloudera/parcels/presto/bin/launcher stop ?

5.3K2 0

如何为CDH集群配置机架感知

1.文档编写目的 ---- 本文主要讲述如何为CDH集群配置机架感知，通过配置机架感知，提高CDH集群的运行效率。...生产环境的CDH集群通常包含数量庞大的服务器，由于受到机架槽位和交换机网口的限制，通常大型的分布式CDH集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。...CDH集群主要节点网络拓扑结构如下：网络交换机物理机架逻辑机架主机名主机IPSwitch1K08/k0809/k08bigdata[1-7]192.***.***.[1-7]K09/k0809/k09bigdata..."bigdata-job-2":"/bigdata/default", "bigdata-job-3":"/bigdata/default", "bigdata-mysql...2.启用机架感知后，使用HDFS命令打印CDH集群机架信息如下： root@bigdata2:/var/lib/zookeeper>sudo -u hdfs hdfs dfsadmin -printTopology

3.1K2 0

如何给CDH集群增加Gateway节点

如果是CDH集群，客户端节点也会是Cloudera Manager管理的一台机器，它会被安装cloudera-scm-agent服务，以及CDH的Parcel，部署客户端配置Cloudera Manager...增加一台Gateway节点，与安装CDH非常类似，你必须要注意一定要做好客户端机器的前置条件准备，参考《CDH安装前置准备》，否则会增加失败。本文主要描述如何给CDH集群增加Gateway节点。...内容概述 1.创建Gateway节点的主机模板 2.Gateway节点的前置准备 3.增加Gateway节点到集群并应用主机模板测试环境 1.CDH5.13 2.采用root用户操作 3.CentOS6.5...前置条件 1.CDH5.13集群运行正常 2.Gateway节点已准备 2.创建Gateway节点的主机模板 ---- 1.从Cloudera Manager进入“主机模板”页面 [8vvlacfuvs.jpeg...集群增加新的Gateway节点完成。

5.6K6 2

CM+CDH Hadoop 集群部署

集群规划 1.1 机器准备： hostname 内网IP 功能内存核数磁盘 cm.cdh.com 192.168.32.180...，在生产环境中一般不使用，生产环境中是使用MySQL数据库的 (2) 在MySQL中创建元数据库并上传jar包 A....在MySQL中创建元数据库[mysql数据我这里统一安装在master.cdh.com机器上] create database cmf DEFAULT CHARACTER...ln -s mysql-connector-java-5.1.27.jar mysql-connector-java.jar (3) 修改CDH关于数据库的配置文件...-5.16.1-1.cdh5.16.1.p0.3/lib/ 到此为止，cm+cdh hadoop集群安装完毕

7061 0

如何修改CDH集群的IP地址

Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在CDH集群中使用多个IP地址来管理集群...在部署集群是由于错将管理网段作为集群的内网，所以这里需要修改集群CDH集群IP地址至内网网段，本篇文章主要介绍如何修改CDH集群的IP地址。...内容概述 1.环境说明 2.修改集群hosts文件及重启相应服务 3.修改Kafka和Flume配置测试环境 1.CM和CDH版本为5.13.0 2.采用root用户操作 3.操作系统RedHat7.2...*网段为集群内部通信网段，10.134.130.*为集群的管理网段，在部署集群时错将管理网段作为集群的内网，因此现在需要将集群的数据网段修改为172.16.25.*。...cloudera-scm-agent （可左右滑动） [1xtnczzt32.jpeg] 2.使用管理员登录Cloudera Manager 的WEB控制台，根据提示重启Cloudera Managent Service 和 CDH

4.8K4 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭