整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能,如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感。 那RDB方式要比AOF方式更加的高效。 获取 redis 的安装目录可以使用 config get dir 命令 RDB优势与劣势 优势 适合大规模的数据恢复 对数据完整性和一致性要求不高 劣势 在一定间隔时间做一次备份,所以如果redis意外 Fork的时候,内存中的数据被克隆了一份,大致2倍的膨胀性能需要考虑 RDB总结 ? Redis启动的时候就会读取该文件,简而言之,就是将文件中的命令重新执行一遍,完成数据恢复到内存的工作。 如何配置 ? 正常恢复到内存中 ❝将有数据的aof文件复制一份保存到对应目录,目录路径可以通过config get dir命令获取,重新启动Redis就可以了 ❞ 异常恢复文件到内存中 ❝备份异常AOF文件,使用命令对文件进行修复
我们可以发现有了这样的日志,恢复管理器就能执行灾后恢复,例如系统在进行交易2时,在执行SETINT操作时,系统突然奔溃,下次重启后回复管理器读取日志,它会发现有但是找不到对应的于是这时它就明白交易2在进行过程中发送了错误使得交易没有完成 ,此时它就能执行恢复,它读取日志,于是就能知道交易2在文件testfile的区块1中,偏移80字节处写入了数值2,在写入前数值为1,于是它就能将数值1重新写入到testfile文件区块1偏移为80字节位置 3次,写入的数值为2,3,4,那么回滚后给定位置的数值应该恢复为1,要实现这个效果,我们必须要从日志的底部往上读取。 我们再看容灾恢复,每次系统启动时它首先要执行灾后恢复工作。 > <COMMIT, 0> <START, 3> <SETINT, 2, junk, 66, 8, 0, 116> <SETINT, 3, junk, 33, 8, 543, 120> 恢复管理器在执行恢复任务时
因此,设计合理的数据库集群容灾恢复方案成为保障业务连续性的关键技术挑战。 本文基于YashanDB数据库的架构和技术特点,深入探讨数据库集群容灾恢复的设计原则与实现方法,帮助开发人员和数据库管理员建立高可靠、高性能的数据库系统。 容灾恢复设计需充分考虑上述部署形态的特点,针对数据同步、故障检测、节点切换等机制做出针对性的策略制定,以保障核心业务的连续性。 综合容灾恢复设计建议合理选择集群部署形态,根据业务对高可用、扩展性和性能的不同需求,确定单机主备、分布式或共享集群方案。 结论随着数据规模的不断增长和业务对数据库系统连续性要求的提升,容灾恢复设计成为数据库架构不可或缺的组成部分。
3台不停止服务的最低限度是2台(X/2+1),而5台的最低限度是3台。 我们应该保证,集群中最低有3台ZooKeeper是启动的。 2zk_pending_syncs 0 启动另外两台机器的Zookeeper 另外两台机器的配置文件 123456 server.1=10.1.24.110:2888:3888server.2 因此我们需要先修改3-5号机器的配置文件为3台,再关闭1-2号机器 关闭 12345 [hadoop@idc02-kafka-ds-02 bin]$ . 2zk_pending_syncs 0 此时的zk_followers为2,说明Leader已经不认1-2号机器了 关闭1-2号机器 关闭idc02-kafka-ds-00 12345 [hadoop 2zk_pending_syncs 0 没有任何影响 实验成功
数据存储容灾建设主要从数据可靠性和业务稳定性两个维度阐述。这两者有哪些区别呢? 详细架构如下: 1.元数据管理:主要负责集群管理功能,例如路由、卷元数据,集群故障探测以及恢复等管理功能 2.driver接入:主要包括client和agent两部分,client作为块设备在用户侧呈现 2.业务稳定性 从业务视角来保障稳定性,结合云平台能力,结合自身业务来进一步对业务进行加固。 2.并发上传多个分块。 3.完成整个分块上传,当使用 Upload Part 上传所有分块完成后,必须调用该 API 来完成整个文件的分块上传。 针对写业务,解决业务有写数据入口,供业务临时写入,等故障恢复了,将盘里新增数据复制到原先存储介质里。这里最常用的就是新增COS和CBS盘的方式让业务进行临时写入,待故障恢复后,补齐数据。
云容灾不仅提供数据备份功能,还结合计算、存储、网络等云服务能力,允许企业在云端快速部署容灾环境,并进行自动化业务恢复。二、传统容灾 vs. 2. 弹性与易扩展(Elastic & Scalable)企业无需提前购买和配置额外的硬件资源,而是可以在需要时动态分配云资源。当业务负载增加时,容灾环境可以根据需求自动扩展计算能力,实现无缝升级。 例如,企业可以通过 API 触发云侧资源区编排、执行容灾演练、监控业务健康状况,并在灾难发生时触发自动化恢复流程,提升灾备响应效率。4. ,该企业通过云容灾方案大幅降低了运维成本,缩短了业务恢复时间,并提升了灾备系统的灵活性和可靠性。 相较于传统容灾方案,云容灾具备高可用性、弹性扩展、自动化管理和智能运维等显著优势,能够有效保障企业在面对突发事件时迅速恢复业务,确保数据安全与业务连续性。
一、根据权限–查询左侧菜单列表 1.写mapper方法,查询菜单和子菜单,继承myBatisPlus(可选) 2.对应mapper语句 3.service根据用户id查询不同的菜单和权限 目前只写了用户可以看到的菜单和子菜单 在实体类加入字段,存放左侧菜单下的子菜单 5.controller查询出来菜单,展示到左侧 5.1工具类,拿user_Idd 工具类 6.结果 二、菜单管理界面 1.controller不返回数据,空页面 2. service:ScheDuleJobService 分页 增删改查 任务状态:暂停 恢复 2.1常量工具类 3.测试任务状态 六、真正能操作定时任务 略 4.controller:ScheDuleJobController 5.运行结果(暂停,恢复可以点击变换) 七.验证码 1.SysUserController 记住用户名.密码 展示验证码 aplicationContext中添加anon shiro工具类 常量 八.退出登录 1.修改主页面index.html 2.index.js 3.SysUserController
2.负载均衡公网CLB具备已跨AZ容灾能力 3.NAT网关绑定多个EIP,提升连接数 东西向流量 专线接入、对等链接、云联网、VPN、private link 1.敏感业务建议不要使vpn打通 2.混合云专线接入容灾方案 2.网络容灾复杂度 同城或者异地容灾建设,网络层面因素主要有三个: 1)跨区或者跨地域网络延时,对上层业务影响。 网络延时,通过优化基础设施手段是非常有限的,毕竟受限于实际物理距离和光速。 2)跨区或者跨地域云基础设施容灾能力。 通常云服务厂家数据中心建设均有容灾能力,这里建议还是选择大厂。 3)IDC到云上网络高可用建设。 混合云容灾模式,这里考虑到IDC和云上线路容灾情况,一般建议两条专线接入不同的POP点来进行容灾建设;同时建立VPN或者GRE公网逃生通道来紧急恢复业务。 2)全部专线通道异常,业务流量要调度到公网恢复业务,需要通过调用API接口禁用VPC型专线网关路由,同时新增VPN/GRE路由来手动恢复业务。
2.容灾级别与能力 容灾系统按保护级别可分为:数据级容灾、应用级容灾、业务级容灾。 在数据级容灾方式下,所建立的异地灾备中心可以简单地把它理解成一个远程的数据备份中心。数据级容灾的恢复时间比较长,但是相比其他容灾级别来讲它的费用比较低,而且构建实施也相对简单。 快速恢复 为即使有传统定制的远程备份,仍然需要时间去做数据的恢复和业务重启,且取决于远程备份的地点远近和远程服务器的性能。而云容灾是可以充分利用云的能力,突破物理限制,在云端做到业务启动。 业务级云容灾:业务级云容灾是指通过云平台做数据的远程备份和恢复,保证关键应用在允许的时间范围内恢复运行,尽可能减少灾难带来的损失,保证一定的RPO和RTO。 Zerto公司的旗舰产品ZertoVirtual Replication (ZVR)是一个基于虚拟机复制的软件解决方案,支持云容灾到AWS和Azure公有云,通过帮助组织机构达到恢复时间目标和恢复点目标而使运作灾难恢复和业务连续性成为可能
2. 异地数据冷备方案2.1 API实现方案数据备份:云平台的数据库数据备份均为同地域,因此需要将该备份数据上传到异地COS存储桶。 2)通过url将备份下载到本地 3)调用cos上传api,将本地的备份文件上传到异地cos桶 4)按照备份业务规则,周期性的执行上面1-3步骤,将备份存储到异地COS存储桶。 2.3 数据库备份服务数据库备份服务拥有一套完整的数据备份和数据恢复解决方案,具备实时增量备份以及快速的数据恢复能力,同时具备异地容灾能力。 2)配置数据库备份服务,主要包括备份数据源,备份规则配置。图片3)在北京地域新购同等规格的mysql数据库。4) 使用备份服务恢复在新购数据库恢复数据。注意恢复数据库要求为空库。图片3. redis数据恢复:redis通过购买云redis使用之前备份数据进行人工恢复。mysql数据恢复:使用数据库恢复服务进行恢复,详见本文的2.3节。
为了让企业能更好用好云平台的数据安全能力,本文重点云平台数据备份冷备能力,以腾讯云为例,主要从以下两个维度介绍:同城数据冷备能解决企业什么问题,达到怎么样业务容灾效果? 业务恢复能力:当出现极端情况,业务恢复能力更多依赖业务部署测试验证的自动化能力。在云平台主要提供数据备份能力,主要数据备份和恢复,让企业更聚焦业务本身,底层备份技术选型交给云平台负责。2. 同城冷备份方案同城数据冷备方案主要依赖于云平台能力备份能力,对现有业务架构没有任何改造,方案架构如下:图片该方案核心要点说明:数据备份:云侧数据库mysql和redis在控制台设置数据备份参数,数据备份存储在COS,具备地域级别容灾 指标详细说明容灾能力具备同地域(不同可用区)数据备份能力,不具备不同地域的能力。 2.业务验证能力,业务恢复相当于业务重新部署,对于业务全面测试验证上线能力要求较高。3.容灾演练能力建设,增加平时运维成本以及自动化工具开发功能。
备份(Backup)本质定义:在线数据→离线存储的迁移过程核心价值恢复逻辑错误(误删/病毒)保存历史数据版本不可替代性:容灾系统无法修复人为错误4. 灾难恢复(Disaster Recovery)阶段定位:灾难发生后的系统重建与容灾关系:现代容灾系统集成恢复功能二、容灾与备份的协同关系1. 功能互补性2. 典型故障应对案例1:数据库误删操作容灾系统同步删除→需从备份恢复案例2:机房级火灾容灾系统接管业务→备份用于数据追溯三、企业灾备体系规划策略1. 风险评估矩阵2. :微隔离技术增强容灾环境安全性结语构建企业级灾备体系需遵循"预防-响应-恢复"的完整闭环,中科热备作为国产化灾备技术领军者,通过持续创新在金融、医疗、政务等领域成功部署超过2000个案例。 建议企业根据业务特性选择"备份+容灾+恢复"的三维防护策略,定期开展灾备演练,真正实现业务连续性保障。
使用基于云原生的HyperBDR可避免以上问题,它深度对接20+云平台,40+云版本,实现跨架构驱动智能适配,支持高度自动化的异构平台容灾,可自由选择目标云平台进行备份和恢复,方案灵活性更高,可扩展性更强 ,重复以上步骤可以添加多个vCenter(按需) 图片 2. 配置容灾平台 (腾讯云) (1)左侧菜单栏点击 容灾平台设置,在左侧点击选择 腾讯云 选项 图片 2)按以下步骤填写信息,创建<云同步网关>组件 该步骤会在认证完成后自动在腾讯云认证租户下启动一台云主机实例 云端可随意拉起演练卷进行演练,提高容灾成功率。当源端出现问题时,仅需2步即可拉起容灾系统,1人即可完成。 云端API自动化对接,无需预启动实例和预先配置,灾难发生时一键云端拉起业务系统到可用状态,直接恢复到操作系统登录页面,有效缩减RTO。智能驱动预适配,无需人为介入,高度自动化,灾备成功率有保障。
区别:容灾强调的是在灾难发生时,保证系统业务持续不 间断地运行的能力,而灾难恢复强调的灾难之后,系统的恢复能力。 现在的容灾系统都包含着灾难恢复的功能,所以本文的讨论除了包括容灾方面的内容,还包括了 灾难恢复的部分内容。高性能、高可用平台架构的演变过程。 如果是同步容灾,那容灾端同时就删除了;如果是异步容灾,那容灾端在数据异步复制的间隔内就会被删除。这时就需要从备份系统 中取出最新备份,来恢复被错误删除的信息。 (2)允许的RTO和RPO指标 从技术上看,衡量容灾系统有两个主要指标:RPO(Recovery Point Object)和RTO(Recovery Time Object),其中RPO代表了当灾难发生时允许丢失的数据量 备份系统+异地容灾系统 这是一个较为理想化的容灾系统一体化解决方案,能够在很大程度上避免各种可能的错误。 容灾恢复等级 ? 灾难恢复层次 ? 灾备技术层次 ? 1.1 磁盘阵列灾备技术 ?
综上所述,本文从云平台视角出发阐述应用层业务容灾建设,主要分为方案设计考虑纬度、复杂度以及云上客户案例三个方面。 1.应用容灾概述 1.1 应用部署 应用是否满足跨地域/可用区部署? 应用层调用链能接受跨区延时,一般以试点业务先观察,小步迭代方式逐步构建容灾能力。 1)业务完全能接受跨区延时,不同的可用区应用部署规模(1:1),各承载50%的业务流量; 2)业务并不能完全接受跨区延时,为了容灾做业务做了部分妥协,两个可用区业务部署的规模(5:1),主要业务承载在主可用区 容灾切换强依赖于调度系统以及配置系统稳定性。这里稳定性主要包括系统容灾能力和性能;遇到大规模故障,大量信息配置变更请求调度系统和配置系统要能扛住洪峰,是保障这个容灾方案的根基。 2.应用容灾复杂度 计算应用层容灾,主要考虑以下两个方面: 哪些节点执行任务。 这里要区分清楚哪些节点执行核心业务,这里会引入不同的复杂度。
本文结合云平台公网能力,从网络平台角度来分析容灾建设可行性。 2.公网出口容灾方案 2.1 IDC和云平台出口互为主备 正常情况下,IDC和云平台公网出口流量是烟囱式,互不交叉;当IDC公网出口异常,流量切换到云平台,同样云平台公网出口异常,流量切换到IDC。 整体公网出口容灾方案如下: image.png 2.1.1 云平台切换方案。 正常情况下,业务流量通过NAT访问公网,如上路绿色线条标识。 待业务恢复后,在一个业务低峰期时候,通过调用开启和关闭子子网路由来切换。 2.1.2 IDC容灾切换方案 正常情况下,IDC业务流量通过NAT访问公网,如上路绿色线条标识。 IDC公网出口容灾方案 (推荐) 1.方案简单,更多依赖云平台能力 2.方案落地快捷。 3.人力成本低,不需要自建系统。 4.维护成本低,不需要后续维护系统稳定性。
共享存储或数据库主从模式 单元化架构(按用户/业务分片) 成本 专线成本较高,但存储配置可能更简单 异步复制带宽成本相对较低,但架构复杂度和改造成本高 主要优势 高可用、数据零丢失(RPO=0)、故障切换迅速 城市级容灾 2、容灾等级要求:同城双活可应对机房级故障。若需防范城市级灾难(如地震、大规模停电),则需异地双活。 3、成本预算:同城双活专线成本较高,但架构相对简单。
容我细细细细分析。 原因就是接口挂了,拿不到数据了。那把数据储存起来就可以解决问题。 思考 存哪里? 第一时间反应浏览器本地存储,想起了四兄弟。 接口容灾我们也是刚弄不久,有许多细节与不足,欢迎沟通交流。 接口容灾本意是预防发生接口服务挂了的场景,我们不会很被动。原来是P0的故障,能被它降低为 P2、P3,甚至在某些场景下都不会有用户反馈。
》 现在的公司有责任建立完善的容灾管理体系,当发生不可预见的故障或灾害时,通过成熟的灾难恢复预案实现快速恢复,减少系统服务中断和关键数据丢失,降低业务损失。 3 容灾关键词 RPO(Recovery Point Objective) 数据恢复点目标,主要指的是业务系统最大能容忍的数据丢失量。 容灾体系介绍 1 数据中心 集团公司通过两地建立三个数据中心,通过双活、冷备等方式,实现两地三中心容灾架构。 2 体系建设 系统类型 --- 容灾策略 核心业务系统 --- 两地三活 关键平台系统 --- 同城双活 非关键系统 --- 异地冷备 3 技术方案 异地冷备 恢复能力 RTP≤1h RPO≤5min 容灾演习要求 每年进行容灾演练,所有核心业务与平台系统均要参演。 异地灾备恢复、同城双活切换、一键式自动化启停等恢复方式不断创新,要求演习规模逐年扩大和恢复效率逐年提升。 - End - ----
在这种场景下,AntDB数据库提供了延迟复制的容灾方案,可以供业务进行快速恢复,给出了一种新的数据恢复解决方案,本文对这种延迟复制的容灾方案进行了探索。 关键词:同步复制;异步复制;延迟复制;数据库参数01数据库容灾概述在业务误删除数据的情况下,可以使用AntDB数据库提供的延迟复制的容灾方案,对误删除数据进行快速恢复,保证业务系统的稳定运行。 3.1 环境信息在如下环境中部署AntDB高可用环境:3.2 搭建主备复制1.10.21.13.207构建主库:2. 10.21.13.208构建备库:3. 3.5.2 DML误操作时的恢复1. 10.21.13.207上误删除图11:10.21.13.207上的误删除数据2. 10.21.13.208上误删除数据获取图12:10.21.13.208上的误删除数据的获取 AntDB电信级核心交易数据库-服务全国24个省份超10亿用户异步容灾,AntDB的业务不间断数据恢复方案