据美国航空监管机构报道,这次事故原因是数据库文件受损,可见企业容灾备份的重要性。 数据库为数据提供存取服务,担任着重要的角色,如果因服务器故障、程序 BUG、操作人员勿删、病毒感染、恶意删除等原因导致数据丢失或服务不可用,会对公司造成重大损失,所以构建企业容灾就是提高企业核心竞争力, 企业数据容灾备份方法按照不同的数据库备份方式,数据库备份可以分为完全备份、增量备份(又称差异备份)、事务日志备份、文件备份。完全备份备份整个数据库,恢复时恢复所有。 NineData 提供的备份功能,包括数据备份、结构备份、日志备份,具备全量和增量的备份能力,基于这些能力,可以快速、有效的帮助企业构建数据容灾备份能力。 小结通过这篇介绍,可以了解到如何使用 NineData 快速构建企业容灾备份。
一、前言 本文主要介绍 Hbase 常用的三种简单的容灾备份方案,即CopyTable、Export/Import、Snapshot。 Export 还支持指定导出数据的开始时间和结束时间,因此可以用于增量备份。 Deleting Snapshots # 删除快照 hbase> delete_snapshot '快照名' 4.
容灾备份方案 2.0 需要建设一套实时性更强的容灾备份系统,以实现业务系统数据实时备份保护及应用级业务接管,以符合下图的数据级向应用级容灾备份的趋势。 △容灾级别与能力 三、容灾备份方案 2.0 的创新应用 容灾备份方案 1.0,有基于硬件存储层架构,也有基于应用层架构。基于硬件存储层方案,建设和运维成本比较高。 英方软件基于超低时延的数据复制技术,针对云和大数据环境下行业对容灾备份的新要求,提出了容灾备份方案 2.0。 4.虚拟化平台整机备份保护 通过全服务器备份软件 i2FFO 或虚拟化备份软件 i2VP,实现对高校虚拟化平台的保护。 以最简单的方式,帮助企业完成操作系统、文件、数据库和应用等所有数据的整体保护和验证,部署和操作也更加简单。
本文通过浅显易懂的语言,系统梳理容灾、备份、灾难恢复等核心概念,结合中科热备等前沿技术方案,为企业构建多层级灾备体系提供理论与实践指导。一、核心概念解析1. 备份(Backup)本质定义:在线数据→离线存储的迁移过程核心价值恢复逻辑错误(误删/病毒)保存历史数据版本不可替代性:容灾系统无法修复人为错误4. 灾难恢复(Disaster Recovery)阶段定位:灾难发生后的系统重建与容灾关系:现代容灾系统集成恢复功能二、容灾与备份的协同关系1. 功能互补性2. 典型故障应对案例1:数据库误删操作容灾系统同步删除→需从备份恢复案例2:机房级火灾容灾系统接管业务→备份用于数据追溯三、企业灾备体系规划策略1. 风险评估矩阵2. 建议企业根据业务特性选择"备份+容灾+恢复"的三维防护策略,定期开展灾备演练,真正实现业务连续性保障。
一.备份脚本 环境需求 编辑/etc/my.cnf文件添加在[mysqld]版块下添加如下变量,添加后重启服务 #开启,并且可以将mysql-bin改为其它的日志名 log-bin=mysql-bin /xx.sh -uroot -p'123456',使用前修改脚本进行变量配置 #过程:备份并刷新binlog,将最新的binlog文件名记录并整体压缩打包 #恢复:先进行全量备份,再对根据tim-binlog.txt /mysqldump" binlog_dir=/usr/local/mysql/data bak_dir=/ops/bak log_dir=/ops/log/mybak-all.log #保存的天数,4周就是 }days "+%F";done)) #开始 /usr/bin/echo >> ${log_dir} /usr/bin/echo "time:$(date +%F-%H-%M-%S) info:开始全备份 -ne 0 ]];then /usr/bin/echo "time:$(date +%F-%H-%M-%S) error:备份失败" /usr/bin/echo "time:$(date +%F-%
容灾系统在企业中给与数据安全系数相当高的保障,但是容灾系统倒是是什么,他们是什么意思?恐怕连正在使用容灾备份的网络管理人员都不能解释。本文用最浅显的语言给大家解释容灾备份到底是什么。 备份是数据高可用的最后一道防线,其目的是为了系统数据崩溃时能够恢复数据。 容灾不可少 那么建设了备份系统,是否就不需要容灾备份系统? 如果是同步容灾,那容灾端同时就删除了;如果是异步容灾,那容灾端在数据异步复制的间隔内就会被删除。这时就需要从备份系统 中取出最新备份,来恢复被错误删除的信息。 规划企业安全保障体系考虑的因素 对于企业而言到底应该如何建设自己的灾备系统,是只建设备份系统、还是只建设容灾系统、还是需要二者同时建设、或者是分步骤的建设,谁先谁后等问题,主要根据业务的需求而定: (1 )需要防范的灾难类型: 企业信息系统可能遇到的灾难类型及其发生的比例如下: 对于“人为错误”、“软件损坏和程序错误”加上“病毒”等这些都称为逻辑错误,占总故障的 56%,这些错误只能通过备份系统才能防范
三.容灾测试 准备 按照第一步,环境需求中,将mysql开启binlog并重启,也可以设置全局变量,不用重启 vim /root/bin/mybak-all.sh,将全量脚本复制到其中,并 chmod+ /bin/mybak-all.sh -uroot -p'123456' 再执行增量脚本 bash /root/bin/mybak-section.sh -uroot -p'123456' 用查看是否有4个 /bin/mybak-all.sh -uroot -p'123456' 再执行增量脚本 bash /root/bin/mybak-section.sh -uroot -p'123456' 用查看是否有4个 cd /ops/bak 解开最近时间点的全量备份包,最近时间是2016-04-06 tar -xf mybak-all-2016-04-06-00-00.tar.gz 解压后可以看到 mybak-all 解压增量备份的文件夹 ,因为这2个脚本是先后执行的,所以不需要解压6号前的,只解压6号及以后的。
/xx.sh -uroot -p'123456',将第一次增量备份后的binlog文件名写到/tmp/binlog-section中,若都没有,自动填写mysql-bin.000001 #过程:增量先刷新 binlog日志,再查询/tmp/binlog-section中记录的上一次备份中最新的binlog日志的值 # cp中间的binlog日志,并进行压缩。 再将备份中最新的binlog日志写入。 #恢复:先进行全量恢复,再根据全量备份附带的time-binlog.txt中的记录逐个恢复。当前最新的Binlog日志要去掉有问题的语句,例如drop等。 binlog_index=${binlog_dir}/mysql-bin.index bak_dir=/ops/bak log_dir=/ops/log/mybak-section.log #保存的天数,4周就是 " >> ${log_dir} /usr/bin/echo >> ${log_dir} 二.备份策略 周日晚3点进行全量备份 周一到周六每天进行增量备份, 全量保存4周 增量保存近一周的每天数据 crontab
将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可,redis就会自动加载文件数据至内存了。 获取 redis 的安装目录可以使用 config get dir 命令 RDB优势与劣势 优势 适合大规模的数据恢复 对数据完整性和一致性要求不高 劣势 在一定间隔时间做一次备份,所以如果redis意外 正常恢复到内存中 ❝将有数据的aof文件复制一份保存到对应目录,目录路径可以通过config get dir命令获取,重新启动Redis就可以了 ❞ 异常恢复文件到内存中 ❝备份异常AOF文件,使用命令对文件进行修复
面对各种可能的灾难,企业需要方便、灵活地同步基于异构环境下驻留在不同数据库中的数据,这就需要建设一个对各种情况都可以抵御或者化解的本地和异地的容灾系统。 在这种容灾方案中,最常用的是备份管理软件加上磁带机,可以是手工加载磁带机或自动加载磁带机。它是所有容灾方案的基础,从个人用户到企业级用户都广泛采用了这种方案。其特点是用户投资较少,技术实现简单。 以前被许多进行关键业务生产的大企业所广泛采用,作为异地容灾的手段。目前,这一等级方案在许多中小网站和中小企业用户中采用较多。对于要求快速进行业务恢复和海量数据恢复的用户,这种方案是不能够被接受的。 4级:定时数据备份 第4级容灾方案是在第3级容灾方案的基础上,利用备份管理软件自动通过通信网络将部分关键数据定时备份至异地,并制定相应的灾难恢复计划。 采取这种容灾方式的用户主要是资金实力较为雄厚的大型企业和电信级企业。
针对这一普遍挑战,YashanDB提出了系统化的容灾备份策略,旨在保障企业关键数据安全无忧。 三、恢复机制与容灾支持YashanDB设计了多级恢复机制保障数据完整性:完整恢复:基于备份集进行全库恢复,并结合归档日志回放,确保恢复至指定时间点。 备份恢复机制与高可用架构协同,容灾过程支持主备切换(Switchover)和故障切换(Failover),通过redo日志复制和回放,确保数据切换和恢复的实时性和一致性。 合理规划备份存储介质,推荐使用企业级高可靠存储和远程灾备存储,防止单点故障。开启主备自动选主功能,实现故障自动切换,确保业务连续性。定期进行恢复演练,验证备份和恢复策略的有效性。 随着企业数据规模的不断增长和业务对数据可靠性的严格要求,构建高效、自动化的容灾备份体系,将成为数据库核心竞争力。
本文作者向大家介绍了一种Redis在非大集群分布式应用场景下的灾备解决方案。 当时的Redis都未采用分布式部署,采用单实例部署,并未考虑容灾方面的问题。 三,非分布式场景下Redis应用的备份与容灾 Redis主从复制现在应该是很普遍了。常用的主从复制架构有如下两种架构方案。 常用Redis主从复制 方案一 ? Redis主从复制优点与不足 优点 实现了对master数据的备份,一旦master出现故障,slave节点可以提升为新的master,顶替旧的master继续提供服务 实现读扩展。 4)配置Slave2从新的Master进行数据复制。
当时的Redis都未采用分布式部署,采用单实例部署,并未考虑容灾方面的问题。 三,非分布式场景下Redis应用的备份与容灾 Redis主从复制现在应该是很普遍了。常用的主从复制架构有如下两种架构方案。 常用Redis主从复制 方案一 ? Redis主从复制优点与不足 优点 实现了对master数据的备份,一旦master出现故障,slave节点可以提升为新的master,顶替旧的master继续提供服务 实现读扩展。 4)配置Slave2从新的Master进行数据复制。 3) Sentinel leader会在上一步选举的新master上执行slaveof no one操作,将其提升为master节点 4)Sentinel leader向其它slave发送命令,让剩余的
当时的Redis都未采用分布式部署,采用单实例部署,并未考虑容灾方面的问题。 三,非分布式场景下Redis应用的备份与容灾 Redis主从复制现在应该是很普遍了。常用的主从复制架构有如下两种架构方案。 常用Redis主从复制 方案一 ? Redis主从复制优点与不足 优点 实现了对master数据的备份,一旦master出现故障,slave节点可以提升为新的master,顶替旧的master继续提供服务 实现读扩展。 4)配置Slave2从新的Master进行数据复制。 3) Sentinel leader会在上一步选举的新master上执行slaveof no one操作,将其提升为master节点 4)Sentinel leader向其它slave发送命令,让剩余的
基于上述问题,Ceph从Jewel版本开始引入了RBD Mirror功能来解决Ceph存储在数据备份容灾方面的需求。 具体的写IO过程如下: 1)写请求首先把数据写入RBD Journal; 2)Journal写入成功后,RBD再把数据写入RBD image,并回复Client ACK响应; 3)备份集群中的rbd-mirror 发现主集群中的journal有更新,则从主集群中读取journal数据,写入备份集群的RBD image; 4)备份集群写入数据成功后,更新主集群的journal的元数据,表明该IO journal已经同步成功 ; 5)主集群定期检查并删除已经写入备份集群的journal数据。 基于该机制,可以方便地实现两个OpenStack和Ceph集群的数据备份和灾难恢复。
Ceph的快照技术本来只是用来进行RBD或者Pool的回滚,但管理员可以利用快照进行Image的异地备份和容灾。 本文首先介绍Ceph的快照技术的使用方法,然后提出一种初级的异地备份方案,管理员可以以此为基础,创造更自动更智能的备份容灾方案。 snap <snap-mas> 3) 导出image和快照之间的增量 #rbd export-diff<pool-mas/image-mas>@<snap-mas> <image-snap-diff> 4) export-diff –from-snap <snap-1><pool-mas/image-mas@snap2> image-snap1-snap2-diff 3) 把导出的增量文件传送到backup_dc 4) ,管理员可以基于上述介绍编写自己的自动备份和恢复脚本,从而实现一个更完整更智能的两中心备份方案。
如何实现高效且可靠的数据容灾备份,成为数据库管理中的关键技术难题。容灾备份不仅关系到数据的完整性和安全性,也直接影响系统的恢复速度和运维复杂度。 YashanDB的容灾备份体系架构YashanDB提供了完备的容灾备份体系,涵盖多种部署形态和技术方案,以满足不同业务场景下的高可用需求。 4. 在线与离线备份操作规范YashanDB支持在线热备份,保障数据库业务高可用性的前提下进行数据备份,避免业务中断。备份操作采用切片策略,分配多个子线程并行处理文件切片,兼顾系统负载与备份效率。 容灾备份实施的技术建议合理规划部署形态:根据业务规模与性能需求,选择合适的单机、分布式或共享集群部署,确保容灾策略与系统架构高度协调。 未来,随着分布式数据库和云原生技术的发展,基于YashanDB的容灾体系将持续演进,满足更复杂、多样化的数据安全需求,助力企业构建稳健的数据基础设施。
随着业务对持续性要求越来越高,云上不少企业对跨AZ或多地域的容灾建设有强烈的诉求。 当企业内部经过评估选定容灾建设整体方向,即同城双活;需要对方案进行验证,包括组件容灾能力建设,数据同步以及切换验证等。 通常对组件容灾能力建设和验证会花费大量时间,如果测试不符合预期,对之前调研、部署以及测试人力和时间成本带来较大耗费。因此借助云平台能力“一站式”提升系统容灾能力,助力企业降本增效。 数据同步稳定性对容灾建设不言而喻,云上有成熟数据同步工具以及具备跨地域或AZ级别实例;企业不需要维护开源社区同步工具。 4)监控告警能力建设。云上跨AZ或地域实例均有配套的监控告警。 5)降低企业人力成本。云上通过控制台便捷的操作,一站式进行容灾建设;同时减少对社区开源软件维护以及二次开发的人力成本。
123456 server.1=10.1.24.110:2888:3888server.2=10.1.24.111:2888:3888server.3=10.1.24.112:2888:3888server.4= 4zk_pending_syncs 0 可以看到zk_followers为4,连接到的follower从2变为4了 而且zk_synced_followers为4,说明新加入的2个也都同步好了 4zk_pending_syncs 0 一切正常 到这里,我们已经将原本的3台扩展到了5台,成功了一半。 STOPPED 修改配置文件为 1234 server.3=10.1.24.110:2888:3888server.4=10.1.24.111:2888:3888server.5=10.1.24.112 STOPPED 修改配置文件为 1234 server.3=10.1.24.110:2888:3888server.4=10.1.24.111:2888:3888server.5=10.1.24.112
数据存储容灾建设主要从数据可靠性和业务稳定性两个维度阐述。这两者有哪些区别呢? 企业通常使用数据存储产品主要为云硬盘(CBS)以及对象存储(CFS)。 列举一下几个场景: 场景一: CBS快照跨地域能力建设 当前云平台CBS数据可靠性的能力在地域粒度,对于公司核心数据要求多地域备份时,需要业务通过调用云API来实现;高可用能力建设核心思路: 1.定期快照复制新 针对读业务,解决是否有数据备份入口,供业务临时读。