首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏开元说说

    系列(六)——数据存储建设

    数据存储建设主要从数据可靠性和业务稳定性两个维度阐述。这两者有哪些区别呢? 举个例子,业务数据存储在COS,如果该地域出现地震等极端灾难,COS所在机房被外力摧毁导致业务数据全部丢失,属于数据可靠性范畴;同样如果COS机房网络出现波动或者机器出现负载,导致客户端请求数据出现延时高或者中断 后台数据复制机制能在任何一个副本出现故障时迅速通过数据迁移等方式复制一个新副本,时刻确保有三个副本可用,避免单点故障引起的数据丢失等问题,提高数据的可靠性。 3.数据存储(cell):主要是负责数据存储和副本复制功能。 1.2 对象存储(COS) COS将数据分散存储在城市中多个不同的数据中心,其中某数据中心故障了,多AZ存储架构依然可以为云上客户提供稳定可靠的数据服务,云上数据可靠性是12个9,即99.9999999999%

    4.6K73发布于 2021-11-18
  • 来自专栏开元说说

    系列(九)——异地数据冷备建设

    异地数据备份挑战相对同城数据备份,异地数据冷备主要挑战是成本,主要是跨地域之数据传输带宽成本。 对于同城数据备份,对企业来说“零”成本,企业可以把所有数据都进行备份;而跨地域数据备份,需要对业务进行梳理,尤其数据量比较大的业务,来决策哪些业务需要异地数据备份。 异地数据冷备方案2.1 API实现方案数据备份:云平台的数据数据备份均为同地域,因此需要将该备份数据上传到异地COS存储桶。 2.3 数据库备份服务数据库备份服务拥有一套完整的数据备份和数据恢复解决方案,具备实时增量备份以及快速的数据恢复能力,同时具备异地能力。 2)配置数据库备份服务,主要包括备份数据源,备份规则配置。图片3)在北京地域新购同等规格的mysql数据库。4) 使用备份服务恢复在新购数据库恢复数据。注意恢复数据库要求为空库。图片3.

    10.4K164编辑于 2022-09-19
  • 来自专栏开元说说

    系列(八)——同城数据冷备建设

    为了让企业能更好用好云平台的数据安全能力,本文重点云平台数据备份冷备能力,以腾讯云为例,主要从以下两个维度介绍:同城数据冷备能解决企业什么问题,达到怎么样业务效果? 云平台对数据冷备能给予企业哪些帮助?1. 数据冷备介绍1.1 数据冷备概念数据冷备,业务数据文件在同地域或者跨地域定时做备份。 ,数据备份存储在COS,具备地域级别,RPO依赖于数据库备份周期以及时间。 本文小结同城冷备方案,在云平台的协助下,企业几乎0成本并拥有同城数据冷备能力来保障业务生命线。指标详细说明能力具备同地域(不同可用区)数据备份能力,不具备不同地域的能力。 3.演练能力建设,增加平时运维成本以及自动化工具开发功能。

    8.2K113编辑于 2022-09-15
  • 来自专栏腾讯云中间件专家服务

    客户案例—zookeeper迁移方案

    follower 将其扩容为5节点的ZooKeeper 先查看原先的ZooKeeper集群情况 echo mntr|nc localhost 2181 这条4字命令可以查看集群的情况,其中follower的相关数据需要在

    2.3K51发布于 2021-07-26
  • 来自专栏ICT售前新说

    数据中心精讲(常见的建设模式)

    当前,市场上常见的模式可分为同城、异地、双活数据中心、两地三中心几种。 同城 同城是在同城或相近区域内(≤200KM)建立两个数据中心:一个为数据中心,负责日常生产运行;另一个为灾难备份中心,负责在灾难发生后的应用系统运行。 异地 异地主备中心之间的距离较远(>200KM)因此一般采用异步镜像,会有少量的数据丢失。异地灾难备份不仅可以防范火灾、建筑物破坏等可能遇到的风险隐患,还能够防范战争、地震、水灾等风险。 异地备中心是指在异地的城市建立一个备份的备中心,用于双中心的数据备份,当双中心出现自然灾害等原因而发生故障时,异地备中心可以用备份数据进行业务的恢复。 ,所以称为“双活”和“多活”;后者是生产数据中心投入运行,数据中心处在不工作状态,只有当灾难发生时,生产数据中心瘫痪,备中心才启动。

    3.3K20发布于 2021-11-30
  • 来自专栏开元说说

    系列(十)——数据热备能力建设【基础篇】

    企业业务敏感程度差异,对指标RPO&RTO要求也不同。之前两篇文章主要介绍数据冷备,主要特点是数据备份存储非实时,备份系统存储数据通常昨天的数据,当灾难真正来临的时候,今天新产生的数据会丢失情况。 2)备实例,建议采用云平台的PAAS服务,更好的兼容DTS同步服务。2.2 平台热备方案2.2.1 数据备方案目前数据库对于异地备份能力进行封装,来简化云上客户操作成本,提升RTO。 2.2.3 中间见实时备份方案ckafka云平台在数据同步已支持跨地域,但是对于ckafka版本有要求,为专业版本。 方案关键因素详细说明范围地域级别RPO/RTORPO几乎接近为零;RTO为小时级别,进行1:1业务部署,依赖于业务部署和数据恢复自动化能力。 3.演练能力建设,增加平时运维成本以及自动化工具开发功能。

    6K143编辑于 2022-09-26
  • 来自专栏云容灾云灾备

    什么是云?与传统备有何不同?

    一、什么是云?在数字化时代,企业的业务系统承载着关键的生产和运营任务,任何系统故障或数据丢失都可能造成严重的经济损失。 云(Cloud Disaster Recovery,简称CDR)是一种基于云计算的备解决方案,通过将业务系统和数据备份到云端,实现快速恢复,以确保企业在灾难发生后仍能正常运营。 云不仅提供数据备份功能,还结合计算、存储、网络等云服务能力,允许企业在云端快速部署环境,并进行自动化业务恢复。二、传统 vs. 高可用性(High Availability)云基于云计算的多区域、多数据中心架构,可提供跨地域的数据冗余备份,确保即使在某一区域发生故障,企业仍然能够切换到其他可用区继续运营。 相较于传统方案,云具备高可用性、弹性扩展、自动化管理和智能运维等显著优势,能够有效保障企业在面对突发事件时迅速恢复业务,确保数据安全与业务连续性。

    47210编辑于 2025-08-06
  • 来自专栏开元说说

    系列(五)——数据库容建设

    在一个数据为王时代,数据安全视为一家企业命根子,因此如何保障企业数据安全尤为重要。本文主要从数据库容方案视角,基于当前客户业务并结合技术&产品,制定最佳方案。 主要从以下三个方面来介绍: 方案设计要素 云上方案 云上客户案例 1.方案设计要素 数据库容方案设计要素主要数据同步,数据一致性以及数据修复三个方面 。 平台方案 客户业务场景最常用腾讯云数据产品主要是redis,cdb,mongoDB以及TDSQL。 数据产品 跨区 就近访问 跨地 CDB 支持 控制台自助配置 支持 跨AZ/跨地域RO实例 方案一:通过DTS支持,需要业务手工切换VIP 方案二:支持DTS双写能力,云上云下或多地域。 ,对于2和3的诉求点,结合tdsql产品提供建议。

    9.3K135发布于 2021-10-21
  • 来自专栏开元说说

    系列(三)——云网络建设

    网络属于基础设施部分,网络建设作为一个数据中心验收重要指标。试想一个数据中心的网络链路存在单点,就如一个城市道路都是单行道,一旦出现交通事故,小则导致道路拥堵,大则导致整个城市交通瘫痪。 IDC时代,业务对网络参与较少,主要依赖数据中心网络建设程度;当到了云的时代,云服务商将底层网络能力产品化后,云上客户更多参与网络建设,提升业务稳定性。 以腾讯云为例,在一个可用区建设数据中心时,底层网络和机房电力统一建设;因此不同的可用区,底层网络都是完全独立的,无论是数据层面和控制层面,均完全隔离没有交集。 2)同地域不同可用区网络延时多大? 2)跨区或者跨地域云基础设施能力。 通常云服务厂家数据中心建设均有能力,这里建议还是选择大厂。 3)IDC到云上网络高可用建设。 image.png 3.2 混合云网络 混合云网络分为两个部分: 1)idc和云机房之间线路,主要线路分为专线和VPN。

    5.8K93发布于 2021-08-09
  • 来自专栏开元说说

    系列(十一)——数据热备能力建设【进阶篇】

    业务数据备份采用热备方式,指标RPO接近“零”;但是RTO指标还是依赖于业务部署测试自动化能力。业务会进一步需要,在数据热备技术架构下,在成本可控的情况下,是否能进一步提升RTO指标呢? 如果在备地域不仅仅部署数据节点,同时将接入层,服务层均进行部署。极端情况出现后,业务恢复省去资源购买,业务部署时间,大幅度缩减RTO耗时,从本质上可以提升RTO时间。 mysql采用数据同步方式做实时备份,这里未采用数据库自带备实例,主要是由于备实例为只读,不方便平时做演练切换。 方案关键因素详细说明RPO/RTORPO接近为0;RTO分钟级别资源费用备份区实现最小化部署业务改造备份区业务需要适配数据资源地址数据备份依赖于云平台的数据备份能力,数据备份和恢复成本几乎为0。 业务恢复业务恢复成本较低,如果以下两个方面做的充分:1.备区日常业务验证能力,对于业务全面测试验证上线能力要求较高。2.演练能力建设,增加平时运维成本以及自动化工具开发功能。

    5.8K94编辑于 2022-10-09
  • 来自专栏云计算文章

    的架构分析和选择策略

    2.级别与能力 系统按保护级别可分为:数据、应用级、业务级。 2.1数据 数据是指通过建立异地备中心,做数据的远程备份,在灾难发生之后要确保原有的数据不会丢失或者遭到破坏,但在数据这个级别,发生灾难时应用是会中断的。 在数据方式下,所建立的异地备中心可以简单地把它理解成一个远程的数据备份中心。数据的恢复时间比较长,但是相比其他级别来讲它的费用比较低,而且构建实施也相对简单。 云是指以云计算的服务模式为企业提供业务数据备份、数据副本利用等多种数据应用场景的服务,即即服务(DRaaS, DR as a Service)。 数据级云数据级云是指通过云平台做数据的远程备份,在灾难发生之后要确保原有的数据不会丢失或者遭到破坏。

    3.8K30编辑于 2022-04-29
  • 备知识总结:与备份区别、备技术、体系规划

    (Disaster Tolerance)核心目标:保障业务连续性,允许数据最小化丢失实现手段:系统冗余+灾难检测+快速切换技术特征:需应对区域性灾难(如地震、火灾)典型场景:金融系统实时交易、医疗急救平台 备份(Backup)本质定义:在线数据→离线存储的迁移过程核心价值恢复逻辑错误(误删/病毒)保存历史数据版本不可替代性:系统无法修复人为错误4. 灾难恢复(Disaster Recovery)阶段定位:灾难发生后的系统重建与关系:现代系统集成恢复功能二、与备份的协同关系1. 功能互补性2. 典型故障应对案例1:数据库误删操作系统同步删除→需从备份恢复案例2:机房级火灾系统接管业务→备份用于数据追溯三、企业备体系规划策略1. 风险评估矩阵2. 建议企业根据业务特性选择"备份++恢复"的三维防护策略,定期开展备演练,真正实现业务连续性保障。

    79910编辑于 2025-09-16
  • 来自专栏民工哥技术之路

    备知识总结:与备份区别、备技术、体系规划

    备份的区别 (Disaster Tolerance):就是在上述的灾难发生时,在保证生产系统的数据尽量少丢失的情况下,保持生存系统的业务不间断地运行。 系统在企业中给与数据安全系数相当高的保障,但是系统倒是是什么,他们是什么意思?恐怕连正在使用备份的网络管理人员都不能解释。本文用最浅显的语言给大家解释备份到底是什么。 和备份的目的不同 系统的目的在于保证系统数据和服务的“在线性”,即当系统发生故障时,仍然能够正常地向网络系统提供数据和服务,以使系统不致停顿。 备份是数据高可用的最后一道防线,其目的是为了系统数据崩溃时能够恢复数据不可少 那么建设了备份系统,是否就不需要备份系统? 如果是同步,那端同时就删除了;如果是异步,那端在数据异步复制的间隔内就会被删除。这时就需要从备份系统 中取出最新备份,来恢复被错误删除的信息。

    13.3K21发布于 2021-01-12
  • 来自专栏用户7621540的专栏

    Redis数据备份,恢复手段

    Redis操作是基于内存的,但是它同时又是一个数据库,那么庞大的数据量不可能全部存在内存中。就需要Redis定时将内存中的数据持久化到硬盘上。 整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能,如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感。 那RDB方式要比AOF方式更加的高效。 获取 redis 的安装目录可以使用 config get dir 命令 RDB优势与劣势 优势 适合大规模的数据恢复 对数据完整性和一致性要求不高 劣势 在一定间隔时间做一次备份,所以如果redis意外 持久化策略 通过Appendfsync配置 Appendfsync Always ❝每次发生数据变更会被立即记录到磁盘,性能较差但数据完整性比较好 ❞ Appendfsync Everysec ❝出厂默认推荐 everysec异步操作,每秒记录,如果一秒内宕机,仅一秒内的数据丢失 劣势 相同数据集的数据而言aof文件要远大于rdb文件,恢复速度慢于rdb Aof运行效率要慢于rdb,每秒同步策略效率较好,不同步效率和

    1.4K42发布于 2020-09-16
  • 来自专栏开元说说

    系列(四)——业务应用层建设

    综上所述,本文从云平台视角出发阐述应用层业务建设,主要分为方案设计考虑纬度、复杂度以及云上客户案例三个方面。 1.应用概述 1.1 应用部署 应用是否满足跨地域/可用区部署? 应用层调用链是否能接受跨区延时,如果业务无法接受跨区,该业务做只能set化部署,这里需要强大中间件团队开发数据同步系统。 切换强依赖于调度系统以及配置系统稳定性。这里稳定性主要包括系统能力和性能;遇到大规模故障,大量信息配置变更请求调度系统和配置系统要能扛住洪峰,是保障这个方案的根基。 2.应用复杂度 计算应用层,主要考虑以下两个方面: 哪些节点执行任务。 这里要区分清楚哪些节点执行核心业务,这里会引入不同的复杂度。 image.png 3.2 应用层业务(单个应用单个可用区承载100%) 应用层调用链应该在同一个可用区完成;不同地域之间流量仅仅做来同步数据

    4.3K72发布于 2021-09-04
  • 来自专栏开元说说

    系列(七)——混合云公网出口建设

    本文结合云平台公网能力,从网络平台角度来分析建设可行性。 2.公网出口方案 2.1 IDC和云平台出口互为主备 正常情况下,IDC和云平台公网出口流量是烟囱式,互不交叉;当IDC公网出口异常,流量切换到云平台,同样云平台公网出口异常,流量切换到IDC。 整体公网出口方案如下: image.png 2.1.1 云平台切换方案。 正常情况下,业务流量通过NAT访问公网,如上路绿色线条标识。 2.1.2 IDC切换方案 正常情况下,IDC业务流量通过NAT访问公网,如上路绿色线条标识。 IDC公网出口方案 (推荐) 1.方案简单,更多依赖云平台能力 2.方案落地快捷。 3.人力成本低,不需要自建系统。 4.维护成本低,不需要后续维护系统稳定性。

    4.1K124编辑于 2021-12-29
  • 来自专栏腾讯云Elasticsearch Service

    Elasticsearch数据迁移与集群

    本文讨论如何跨集群迁移ES数据以及如何实现ES的同城跨机房和异地。 proxy的可用性 Elasticsearch跨机房 随着业务规模的增长,业务侧对使用的ES集群的数据可靠性、集群稳定性等方面的要求越来越高,所以要比较好的集群方案支持业务侧的需求。 同城跨机房:跨机房部署集群 [fff65944f80b12c30cfc76b32230b1d7.png] 因为数据同步的复杂性,云厂商在实现ES集群跨机房的时候,往往都是通过只部署一个集群解决, 异地:主备集群 类似于同城跨机房,异地一般的解决思路是在异地两个机房部署一主一备两个集群。 在上海地域,部署有多可用区集群实现跨机房的高可用,同时在北京地域部署备集群作为Follwer利用CCR同步数据,从而在集群可用性上又向前走了一步,既实现了同城跨机房,又实现了跨地域

    5.8K126发布于 2019-10-29
  • 来自专栏数通

    同城和异地的区别,你知道多少?

    深入理解数据同步技术差异 同城双活和异地双活在数据同步技术上的不同选择,主要是对网络延迟和数据一致性之间进行权衡的结果。 同城双活的数据同步 同城双活数据中心通常在几十公里距离内,通过高质量、低延迟的专用网络线路(如光纤专线) 连接。这种低延迟网络允许采用同步或半同步的数据复制方式。 异步复制是主流方式,应用在本地中心写入数据后即可得到确认,数据随后异步地、批量地同步到异地中心。这牺牲了数据的实时一致性,但保证了写入性能和可用性。 ,但架构复杂度和改造成本高 主要优势 高可用、数据零丢失(RPO=0)、故障切换迅速 城市级、更好的用户体验(异地用户就近访问) 主要挑战 距离限制(同城)、脑裂风险、专线成本 数据延迟、一致性难度 若能接受短暂数据不一致(如社交feed、商品库存),异地双活可行。 2、等级要求:同城双活可应对机房级故障。若需防范城市级灾难(如地震、大规模停电),则需异地双活。

    40710编辑于 2025-10-11
  • 来自专栏采云轩

    前端接口

    我细细细细分析。 原因就是接口挂了,拿不到数据了。那把数据储存起来就可以解决问题。 思考 存哪里? 第一时间反应浏览器本地存储,想起了四兄弟。 选型对比 特性 cookie localStorage sessionStorage indexDB 数据生命周期 服务器或者客户端都可以设置、有过期时间 一直存在 关闭页面就清空 一直存在 数据储存大小 考虑新用户或者长时间未访问老用户,会取不到缓存数据与陈旧的数据。 因此准备上云,用阿里云存储,用 CDN 来保障。 总结下:线上 CDN、线下 IndexDB。 从而进行更新数据、获取数据、缓存策略三种操作 通过配置白名单来控制接口存与取 axios.interceptors.response.use( async (resp) => { 劣势包括使用局限,不适合对数据实效性比较高的业务场景,不支持 IE 浏览器。 接口我们也是刚弄不久,有许多细节与不足,欢迎沟通交流。 接口本意是预防发生接口服务挂了的场景,我们不会很被动。

    77710编辑于 2023-11-30
  • 来自专栏ICT售前新说

    知识知多少

    为什么要做? 你知道吗?自然灾害、设备故障、人为因素等都会造成业务中断。如今数字化时代,IT系统故障更会对公司业务造成难以估量的巨大经济损失。 3 关键词 RPO(Recovery Point Objective) 数据恢复点目标,主要指的是业务系统最大能容忍的数据丢失量。 体系介绍 1 数据中心 集团公司通过两地建立三个数据中心,通过双活、冷备等方式,实现两地三中心架构。 选取异地数据中心搭建备环境,通过公司统一平台工具实现应用配置同步,生产库与同城库可进行实时同步,同城库与异地备库可进行异步同步。 演习要求 每年进行演练,所有核心业务与平台系统均要参演。 异地备恢复、同城双活切换、一键式自动化启停等恢复方式不断创新,要求演习规模逐年扩大和恢复效率逐年提升。 - End - ----

    1.8K20发布于 2021-04-30
领券