随着越来越多的业务选择HBase作为存储引擎,对HBase的可用性要求也越来越高,对于HBase的运维也提出了新的挑战。 而今年,我们主要从集群层面上提升集群可用性。 之前的运维经验,一般的做法就是stop balance,然后通过move region的方式把有影响的表移到某些机器上。 由于存在这个原因和业务的压力,往往只能采用拆分集群的方式,在一个HDFS 上往往运行几个HBase集群,但是带来的是运维成本的增加。 ? 最后我们把分组功能接入了BDP运维平台。DBA在配置实例的时候,根据业务选择不同的分组。通过rsgroup 解决拆分集群问题,可运维性也得到了提升。
管理平台的高可用架构主要从以下维度提高平台可用性:主备部署:主备节点部署在不同服务器上,避免单点故障。 后端数据库高可用:管理平台高可用架构中采用YashanDB作为后端数据库,且要求后端YashanDB至少存在3个实例+开启自动选主+采用最大保护模式。 若后端YashanDB发生故障,管理平台可基于YashanDB的高可用机制切换后端数据库的连接(用户无感知)。
NFS高可用目的 部署NFS双机热备高可用环境,用作K8S容器集群的远程存储,实现K8S数据持久化。 NFS高可用思路 NFS + Keepalived 实现高可用,防止单点故障。 selinux # cat /etc/sysconfig/selinux SELINUX=disabled # setenforce 0 # getenforce Disabled # reboot NFS高可用部署记录
采用多副本的方案,它的优势是: 缩短不可用时间:master 发生宕机,我们可以手动把 slave 提升为 master 继续提供服务 提升读性能:让 slave 分担一部分读请求,提升应用的整体性能 、高性能的 Redis 集群问题时,应该会有自己的见解了,Redis实战学习笔记+面试视频+面试真题,其实,这篇文章所讲的优化思路,围绕的主题就是「架构设计」的核心思想: 高性能:读写分离、分片集群 高可用 MySQL 为了做到高性能、高可用,又是如何做的?其实思路都是类似的。
支持以下两种方式升级高可用部署的主备管理平台:一键升级主备管理平台一键升级所有的主备管理平台,以及管理的服务器。若要使用该升级方式,必须将所有备管理平台所在服务器添加到管理平台中。
环境信息 Info1 Detail OS CentOS7 ZK Version 3.5.8 JDK Version 1.8 + (1.7以上即可) IP Info 192.168.126.133 其
本节主要探讨greenplum集群配置和高可用特性。 目录: 配置greenplum数据库 启用高可用特性 ---- 基本概念: raid 独立硬盘冗余阵列(RAID, Redundant Array of Independent Disks) -- krb_server_keyfile krb_srvname password_encryption password_hash_algorithm ssl ssl_ciphers 2.启用高可用特性
它凭借其高并发、低内存占用以及无与伦比的稳定性,在全球范围内被广泛使用。其核心作用主要体现在三个方面: 反向代理:作为客户端和后端服务器之间的中介,隐藏真实服务器,实现请求的转发和安全控制。 负载均衡:将海量客户端请求分发到多个后端服务器,避免单点故障,提升系统吞吐量和可用性。 静态资源服务:高效处理静态文件(如HTML、CSS、JS、图片),因其高效的文件I/O模型而性能卓越。 nginx-plus或集成第三方模块,如ngx_http_upstream_check_module) # server 192.168.1.103:8080 backup; # 备份服务器,当其他都不可用时启用 它凭借其高并发、低内存占用以及无与伦比的稳定性,在全球范围内被广泛使用。其核心作用主要体现在三个方面: 反向代理:作为客户端和后端服务器之间的中介,隐藏真实服务器,实现请求的转发和安全控制。 负载均衡:将海量客户端请求分发到多个后端服务器,避免单点故障,提升系统吞吐量和可用性。 静态资源服务:高效处理静态文件(如HTML、CSS、JS、图片),因其高效的文件I/O模型而性能卓越。
更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 开始安装 写在前面:第三部分两台机器都要做,这里以heartbeat-master为例。 ,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 由于两台高可用服务器之间在指定的时间内,无法互相检测到对方心跳而各自启动故障转移功能,取得了资源以及服务的所有权,而此时的两台高可用服务器对都还活着并作正常运行,这样就会导致同一个IP湖综合服务在两端同时启动而发生冲突的严重问题 高可用服务器对上的心跳网卡地址等信息配置的不正确,导致发送心跳失败。 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。
容器化运维:构建高可用RabbitMQ集群的Docker Compose指南 前言 在计算机世界中,消息传递就像是一场神奇的旅行,消息在系统之间飞来飞去,就像是魔法传送一样。 在这个奇幻的旅程中,我们将揭开RabbitMQ集群的面纱,一起探索如何构建一个强大的消息传递系统,它能够应对高负载、容错性强,就像是一支无所不能的魔法军团。 以下是一些策略的常见作用: 镜像队列策略: 允许你在队列声明时自动将队列设置为镜像队列,从而实现消息冗余备份和高可用性。 ha-mode(镜像队列模式): 用法:ha-mode = all 或 ha-mode = exactly 或 ha-mode = nodes 作用:定义队列是否为镜像队列,从而实现消息冗余备份和高可用性
keepalived介绍 keepalived软件起初是专为LVS负载均衡软件设计的,用来管理并监控LVS集群系统中各个服务节点状态,后来又加入了可以实现高可用的VRRP功能.此,keepalived除了能够管理 LVS软件外,还可以作为其他服务(例如:Nginx,Haproxy,MySQL等)的高可用解决方案软件。 Keepalived软件主要是通过VRRP协议实现高可用功能,在安装keepalived的服务器主机上会在配置文件中设置一个虚拟IP,当该keepalived节点为主节点且正常运行时,设置的虚拟Ip就会在该节点生效且绑定在该主机的网卡上 在整个过程中,故障检测、故障服务器剔除以及修复后的服务器重新上线这些操作都是由keepalived自动完成,运维人员只需要关注故障服务器的修复。 keepalived配合LVS高可用 配置LVS-DR 主机名 主机地址 角色 lb01 10.1.1.11 ,VIP:10.1.1.50 LVS+keepalived主(Director) lb02
高并发限流、熔断、降级:电商架构稳定性保障双11零点刚过,数亿用户同时涌入App,瞬间流量达到平时的数百倍——这可能是电商技术团队最紧张的时刻。如何保证系统不崩溃?如何让每个用户都能顺畅下单? 它们是保障高并发系统稳定性的“三驾马车”,也是电商架构抵御流量洪峰的核心防线。本文将用通俗易懂的方式,讲清楚这三个概念是什么、为什么需要它们、以及它们如何协同工作。一、为什么要关注稳定性? 熔断机制让订单服务快速感知到库存服务不可用,及时止损,防止问题蔓延到上游。四、降级:丢卒保车,保住核心业务降级,是在系统压力过大时,主动牺牲一些非核心功能,确保核心功能可用。 大促期间,你会发现有些功能暂时不可用了:比如历史订单查询变慢、商品评价暂时无法发布、个性化推荐变成了通用推荐——这些都是降级策略的体现。 六、结语在电商这种高并发场景下,系统崩溃不是“会不会”的问题,而是“什么时候”的问题。限流、熔断、降级这套组合拳,不是用来让系统永不故障,而是让系统在故障发生时,能够优雅地应对,把损失降到最低。
电商平台备战促销季的运维秘诀——高可用服务层 整体架构 业务发展初期主要以业务为导向,一般采用 「ALL IN ONE」的架构方式来开发产品,这个阶段用一句话概括就是 「糙猛快」。 电商平台备战促销季的运维秘诀——高可用服务层 具体拆的方式,主要根据业务领域划分单元,进行垂直拆分。 电商平台备战促销季的运维秘诀——高可用服务层 超时设置 一般网站服务都会有主调服务和被调服务之分。超时设置就是主调服务在调用被调服务的时候,设置一个超时等待时间 Timeout。 电商平台备战促销季的运维秘诀——高可用服务层 那我们什么时候该采用异步调用? 其实主要看业务场景,如果业务允许延迟处理,那就采用异步的方式处理 那我们该怎么实现异步调用呢? 电商平台备战促销季的运维秘诀——高可用服务层 刚刚说了降级的方式,那我们操作降级的时候有哪些注意点呢?
更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 Heartbeat的心跳连接 讲过上面的描述,要部署heartbeat服务,至少需要两台主机才能完成。 这提到的客户端机器是和Heartbeat高可用服务器对在同一个网络中的客户机,并不是最终的互联网用户,这里的客户端及其是相对Heartbeat高可用服务器对说的,这点,请注意下。 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。
电商平台备战促销季的运维秘诀——高可用服务层 整体架构 业务发展初期主要以业务为导向,一般采用 「ALL IN ONE」的架构方式来开发产品,这个阶段用一句话概括就是 「糙猛快」。 电商平台备战促销季的运维秘诀——高可用服务层 具体拆的方式,主要根据业务领域划分单元,进行垂直拆分。 电商平台备战促销季的运维秘诀——高可用服务层 超时设置 一般网站服务都会有主调服务和被调服务之分。超时设置就是主调服务在调用被调服务的时候,设置一个超时等待时间 Timeout。 电商平台备战促销季的运维秘诀——高可用服务层 那我们什么时候该采用异步调用? 其实主要看业务场景,如果业务允许延迟处理,那就采用异步的方式处理 那我们该怎么实现异步调用呢? 电商平台备战促销季的运维秘诀——高可用服务层 刚刚说了降级的方式,那我们操作降级的时候有哪些注意点呢?
更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 为什么要高可用 高可用的大前提:所有事物都不是100%可靠的 所有事物都是变化的(唯一不变的是变化)。 外因:无高可用,对外影响面是很大的 从客户角度:无高可用,客户服务可能会中断。 从股东层面:无高可用,股价可能会下跌。 从社会角度:无高可用,社会秩序可能受影响。 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 高可用集群软件 高可用集群一般是通过高可用软件来实现的。 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。
# IT学习 无需时间 无需成本 适合人群:开发(不会部署),运维,外包 官网文档 官网地址:https://kubespray.io/#/ GitHub地址:https://github.com/kubernetes-sigs
2相关术语 OceanBase 数据库仲裁服务 OceanBase 数据库仲裁服务(Arbitratrion Service)是一种基于 Paxos 多副本容灾方案提出的新型高可用方案。 待故障的全功能副本恢复时,仲裁服务又会执行日志流升级流程,将被降级的副本重新加入成员列表,提供更高的可用性保证。 它通过 Paxos 协议实现了多副本日志同步,保证副本间数据的一致性,实现了数据的高可用。 综上,成本敏感或预算有限且能承受可能丢失数据的情况可以选择 OceanBase 2F1A 仲裁高可用方案,若期望数据不丢失建议选择全功能型副本高可用方案。 back=kb [2] OceanBase 助力企业应对数据库转型深水区挑战: https://open.oceanbase.com/blog/7742925344 本文关键字:#OceanBase# #高可用
前面介绍了 HeartBeat 及其集群高可用部署、DRBD原理与实践、DRBD配置与管理、高可用集群架构 corosync+pacemaker、LVS+KeepAlived、haproxy+keepalived 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 ,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。
更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 VRRP使用选举机制来确定路由器的状态,优先级选举 1.VRRP组中IP拥有者。 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。 总结一下,Keepalived中实现轻量级的高可用,一般用于前端高可用,且不需要共享存储,一般常用于两个节点的高可用。 而Heartbeat(或Corosync)一般用于服务的高可用,且需要共享存储,一般用于多节点的高可用。 更多关于企业集群运维管理系列的学习文章,请参阅:玩转企业集群运维管理专栏,本系列持续更新中。