首页
学习
活动
专区
圈层
工具
发布

腾讯云弹性块存储技术解密

[1501466823180_1478_1501466824713.jpg] 作者介绍:Yh, 2010年加入腾讯,有12年的存储经验,在弹性块存储技术方面经验丰富,本文将其在TEG TALK上的分享内容进行整理...如何实现云硬盘(弹性块存储)系统?...其实最开始CBS是将这3个分布式存储系统拼凑在一起,并在前端封装一个iSCSI的块存储服务,这就是CBS1.0。...首先,CBS2.0前端是一个接入集群: Client,即客户端,让服务器呈现一块硬盘;Proxy,即块设备的后台接入层,前端的云硬盘通过它才能将数据放到云端;Client和Proxy专业名次叫iSCSI...当然ceph也有很多值得我们借鉴的东西:例如CBS是块存储平台(目前已经支持文件存储),而ceph一开始就是作为统一存储平台设计的,同时支持块存储、文件存储和对象存储;CBS的是镜像多副本存储,但是ceph

16.5K32

弹性伸缩配置:应对大促高峰的自动扩容实践

今年痛定思痛,给店里的订单系统配了弹性伸缩,年底大促稳稳扛住了三倍流量。这篇记录配置思路和实践细节。...3.3促销当天的实战年底大促,上午十点流量开冲。十点零六分CPU触线,两分钟后两台新机器上线,十点十一分四台机器满负荷接力,全程没人碰键盘。下午流量回落,机器按策略逐台退出。...四、成本账4.1改造前后对比改造前:常态两台机器扛平峰,大促崩一次丢几十单,直接损失加商誉损失没法精确算。改造后:常态仍是两台,高峰自动加到八台,活动多付的机器费一天不到两百块。...两百块换三倍流量的平稳承接,这笔账小学生都会算。还有一笔账更好算:去年丢的三四十单,按客单价折算损失过万。用两百块保住上万的窟窿,这是那年最划算的一笔技术投入。...今年大促结束那天,市场部同事说了句总结性的话:今年终于不用跟客户道歉了。这句比任何监控指标都像验收报告。

17310
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    电商大促高并发应对方案:腾讯云CVM弹性扩展实战指南

    本文分享一套基于腾讯云CVM的电商高并发应对方案,从提前扩容、弹性伸缩、负载均衡到大促后缩容的全链路实战经验。...,整个系统雪崩 大促结束后资源闲置,白白烧钱 腾讯云CVM电商大促方案架构 推荐架构:CVM集群 + 负载均衡CLB + 弹性伸缩AS + CDN + 云数据库 + Redis缓存 组件 作用 为什么需要...大促自动扩、大促后自动缩 CDN 静态加速 图片/CSS/JS等静态资源全球加速,减轻服务器压力 云数据库MySQL 数据存储 与CVM分离部署,独立扩展,高可用主从架构 Redis缓存 热点缓存 缓存商品信息...大促后(T+1天):缩容降本 弹性伸缩自动缩减多余实例 按量计费的实例直接释放,零浪费 总结本次大促的资源使用数据,为下次大促提供参考 为什么选腾讯云CVM应对大促?...优势 详情 极速弹性 分钟级创建成百上千实例,业界领先 网络碾压 第九代实例6750万PPS,连接数较上代提升50% 超高可用 99.975%服务可用性,三副本存储,9个9数据可靠性 实战验证 已支撑微信视频号

    64610

    乐园票务系统弹性伸缩:基于腾讯云TKE实现大促期间自动扩缩容

    ):CPU使用率超过60%自动加Pod,低于30%自动减;节点层面也开弹性伸缩:Pod不够用时自动加CVM节点;大促前提前预热,手动扩容到目标副本数,避免临时扩容来不及。...五、效果对比改造前后:大促高峰期从"人工加机器"变成"自动扩缩容",扩容时间从30分钟缩到1分钟;平峰时段自动缩容,资源成本下降50%;节假日高峰没再出现过检票接口超时;故障自愈:Pod挂了自动重启,节点挂了自动迁移...这套弹性伸缩方案在千里达票务系统的多个主题乐园客户落地,大促期间系统稳如磐石。千里达票务系统原生支持TKE部署,弹性策略开箱即用。...七、总结乐园票务系统流量波动大,固定容量要么浪费要么不够。腾讯云TKE容器化部署加HPA自动伸缩,秒级扩容、平峰自动缩容,成本和性能兼得。...配合CLB负载均衡、CDB数据库、云监控告警,一套弹性高可用的票务系统就搭起来了。

    19210

    块存储,文件存储及对象存储 比较

    块存储接口的操作对象是二进制数据,物理存储位置是硬盘 (通过逻辑目录 找到对应分区,然后找到对应存储块存储。)          3....可以将多块廉价的硬盘组合起来,成为一个大容量的逻辑盘对外提供服务,提高了容量          2.  ...目前在集群计算中应用较多的NFS文件系统,但由于NAS的协议开销高、带宽低、延迟大,不利于在高性能集群中应用。...和文件和对象存储相比,没有随机读写的接口。和文件存储相比,没有目录树的概念。协议更注重简洁。 典型设备:内置大容量硬盘的分布式服务器 四. 为什么块级的存储性能最好?          ...2.对象存储的成本比普通的文件存储还是较高,需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量,只是为了作文件共享的时候,直接用文件存储的形式就好了,性价比高。

    10.6K11

    文件存储、块存储、对象存储区别(一)

    在计算机系统中,存储是指将数据保存在持久化介质上,以便以后访问和使用。不同类型的应用程序可能需要不同类型的存储,以满足其特定的需求。...文件存储文件存储是一种基于文件系统的存储方式,将数据保存在文件中,这些文件可以被多个应用程序并发地访问。...这种存储方式通常用于需要读取和写入整个文件的应用程序,如文档管理、图片、视频、音乐等文件存储和共享等应用。文件存储通常由一个共享存储设备提供,多个计算机可以通过网络访问该设备中的文件。...其中,共享存储设备可以是NAS(网络附加存储器),它是一种基于文件共享的存储设备,也可以是SAN(存储区域网络),它是一种基于块的存储设备。...存储提供者是一个NAS设备,使用“nfs-storage”存储类提供文件共享服务。

    9K20

    文件存储、块存储、对象存储区别(二)

    块存储块存储是一种基于块的存储方式,将数据保存在块设备上,块设备通常是一种硬件设备,例如硬盘、固态硬盘或闪存驱动器。...块存储通常由一个存储阵列提供,可以被多个计算机使用,每个计算机都可以访问阵列中的块存储设备,并在其上创建文件系统。块存储通常用于需要随机读写的应用程序,例如数据库、虚拟化、高性能计算等应用。...在块存储中,数据是以块的形式传输,并且每个块可以被独立地访问和管理。...块存储通常使用iSCSI(Internet Small Computer System Interface)协议将块设备连接到计算机系统。...存储提供者是一个iSCSI存储设备,使用“iscsi-storage”存储类提供块存储服务。

    8.5K10

    文件存储、块存储、对象存储区别(三)

    对象存储对象存储是一种分布式存储方式,将数据保存在对象中,每个对象都有唯一的标识符,可以通过该标识符访问对象。...对象存储通常使用REST API(Representational State Transfer Application Programming Interface)来访问和管理对象,因此可以通过公共互联网访问...对象存储通常用于需要海量存储的应用程序,例如大数据、人工智能、物联网等应用。对象存储通常由一个对象存储集群提供,该集群由多个存储节点组成,可以水平扩展以增加存储容量和吞吐量。...下面是一个使用Amazon S3提供对象存储的示例:apiVersion: v1kind: Podmetadata: name: example-podspec: containers: -...存储提供者是Amazon S3存储服务,使用“s3-storage”存储类提供对象存储服务。

    8.2K10

    知识地图--块存储

    学习分布式存储系统中的 块存储(Block Storage), 是进入云原生、分布式数据库、虚拟化存储领域的关键一环,但是掌握块存储需要什么技能,该怎么学习呢?...网络与协议基础 TCP/IP、RDMA、RoCE RPC、gRPC、RESTful 分布式网络模型(Client-Server vs Peer-to-Peer) unsetunset二、块存储系统核心模块...分布式块存储系统架构 核心组成:Client、Metadata Server、Storage Node 数据路径:读写流程、负载均衡、失败恢复 元数据存储与定位:RADOS/Ceph、TiKV、etcd...基于分布式对象存储、QEMU 集成 研究其一致性和复制机制 SAN/NAS 对比 块 vs 文件存储 理解 iSCSI、NFS 协议及其适用场景 SPDK 用户态高性能 IO 框架 深入理解轮询线程模型和..., dd, fio 中级 分布式块存储系统架构、模块设计 阅读 Ceph、OpenStack、SPDK 文档 高阶 性能调优、故障恢复、源码分析 参与开源项目,调试 Ceph 或 SPDK 源码

    57110

    NewSQL数据库大对象块存储原理与应用

    对象存储则以S3等接口为通用标准,设备提供商可以在底层使用K/V存储或块存储等不同存储机制,同时提供类似对象访问、版本管理等一系列功能特性。...在同类开源分布式数据库中,SequoiaDB是唯一一款原生集成行存储与块存储双引擎的数据库。...除了JSON存储引擎以外,为了提高非结构化文件的读写性能,SequoiaDB核心引擎提供了分布式块存储模式,可以将非结构化大文件按照固定大小的数据块进行切分并存放于不同分区。...SequoiaDB的块存储字段类型叫做LOB(Large OBject,大对象),其核心机制是将内容文件打散成多个数据块,每个数据块被分别发送到不同分区独立存放。...图3:LOB元数据与数据文件结构映射 在建立集合的过程当中,大对象存储必须依附于普通集合存在,一个集合中的大对象仅归属于该集合,不能被另外一个集合管理。 当用户上传一个大对象时,会经历几次散列操作。

    3.1K50

    选存储,就选原生块存储!

    存储产业正在发生颠覆性的变化,主要有两大推手:一个是新一代存储介质SSD;另一个是分布式存储的演进,以SDS(软件定义存储)为代表。...分布式存储技术首先成功应用在互联网企业的应用场景。 鉴于无法预计的互联网访问流量,互联网迫切需要一种弹性十足的IT基础架构,传统磁盘阵列以Scale Up为主,且价格昂贵,难以满足需求。...ZettaStor和原生块存储 作为原AWS核心架构师、S3、Glacier存储项目团队负责人,陈靓先生非常了解对象存储应对块数据需求的不足。...它是以裸设备方式直接管理底层硬盘,并整合成为块存储资源供上层应用来访问使用,由于并不存在对象存储的中间转换过程,因此能够实现低延迟的高I/O访问效率。 ?...对于原生块存储、非原生块存储,测试和验证将是一个非常重要的方法。但是在测试过程中,也应该结合实际,谨防被一些“猫腻”手段所蒙蔽。

    2.5K20

    花小钱办大事:云函数+云开发撬动央视晚会的电商大促弹性架构实践

    作为本次央视晚会电商大促的方案架构师,腾讯云 Serverless 专家架构师杨政权表示: “ 弹性伸缩、按量计费的云函数突破传统 PaaS 产品的瓶颈,通过快速扩缩容轻松应对瞬间高并发的秒杀、大促场景...云函数 + 云开发 ,应对电商行业大促场景 央视晚会的小程序场景,是电商行业的用户营销和节日大促的常见需求。...( 云开发+云函数,弹性算力,平稳支撑电商活动需求 ) 作为底层算力,云函数助力云开发为开发者提供高可用、自动弹性扩缩的后端云服务,包含计算、存储、托管等 Serverless 化能力。...更低成本 活动大促专属资源包服务配置,用完即停,降低核心服务资源投入。...用几万块的费用,在央视的晚会上完成了一个大型广告营销的活动,相比客户在央视上买广告的费用,其实是非常小的,正所谓花小钱办大事。”

    4.6K40

    花小钱办大事:云函数+云开发撬动央视晚会的电商大促弹性架构实践

    作为本次央视晚会电商大促的方案架构师,腾讯云 Serverless 专家架构师杨政权表示: “ 弹性伸缩、按量计费的云函数突破传统 PaaS 产品的瓶颈,通过快速扩缩容轻松应对瞬间高并发的秒杀、大促场景...云函数 + 云开发 ,应对电商行业大促场景 央视晚会的小程序场景,是电商行业的用户营销和节日大促的常见需求。...作为底层算力,云函数助力云开发为开发者提供高可用、自动弹性扩缩的后端云服务,包含计算、存储、托管等 Serverless 化能力。...更低成本 活动大促专属资源包服务配置,用完即停,降低核心服务资源投入。...用几万块的费用,在央视的晚会上完成了一个大型广告营销的活动,相比客户在央视上买广告的费用,其实是非常小的,正所谓花小钱办大事。

    5K30

    花小钱办大事:云函数+云开发撬动央视晚会的电商大促弹性架构实践

    作为本次央视晚会电商大促的方案架构师,腾讯云 Serverless 专家架构师杨政权表示: “ 弹性伸缩、按量计费的云函数突破传统 PaaS 产品的瓶颈,通过快速扩缩容轻松应对瞬间高并发的秒杀、大促场景...云函数 + 云开发 ,应对电商行业大促场景 央视晚会的小程序场景,是电商行业的用户营销和节日大促的常见需求。...每年大促期间,零售行业线上渠道都面临历史级别的流量挑战,中大型电商平台的峰值调用量可达上千万/分钟,面临高于日常 10-20 倍的流量压力。...( 云开发+云函数,弹性算力,平稳支撑电商活动需求 ) 作为底层算力,云函数助力云开发为开发者提供高可用、自动弹性扩缩的后端云服务,包含计算、存储、托管等 Serverless 化能力。...更低成本 活动大促专属资源包服务配置,用完即停,降低核心服务资源投入。

    4.3K40

    「存储架构」块存储、文件存储和对象存储(第1节)

    文件、块和对象存储之间的区别 文件存储和块存储是在NAS和SAN存储系统上存储数据的方法。 在NAS系统上,它将其存储作为网络文件系统公开。...块存储的工作方式与此类似,但与在文件级管理数据的文件存储不同,数据存储在数据块中。几个块(例如在SAN系统中)构建一个文件。...一个块由一个地址组成,如果SAN应用程序对这个地址发出scsi请求,那么它将获得这个块。存储应用程序然后决定数据块是否存储在系统中,以及存储在什么特定的磁盘或存储介质上。...最后如何组合这些块以及如何访问它们决定了存储应用程序。SAN中的块没有与存储系统或应用程序相关的元数据。换句话说:块是没有描述、关联和存储解决方案所有者的数据段。一切都由SAN软件处理和控制。...您只需在解决方案中添加一些磁盘,就不再需要大的管理来获得更多的存储空间。这是一个主要的好处,尤其是在指数级数据增长的时代。

    7.9K25

    ceph 分布式存储-块存储(RBD)搭建

    管理存储池 1.1 创建存储池 PG数量的预估 集群中单个池的PG数计算公式如下:PG 总数 = (OSD 数 * 100) / 最大副本数 / 池数 (结果必须舍入到最接近2的N次幂的值) #ceph...crush-ruleset-name] $ ceph osd pool create test_pool 512 512 replicated pool 'test_pool' created 1.2 删除存储池...ceph osd pool delete test_pool test_pool --yes-i-really-really-mean-it pool 'test_pool' removed 1.3 重命名存储池...管理块设备镜像 2.1 创建块设备镜像 #rbd create --size {megabytes} {pool-name}/{image-name},如果pool_name不指定,则默认的pool是rbd...下面的命令将创建一个10GB大小的块设备: $ rbd create --size 10240 test_image -p test_pool 2.2 删除块设备镜像 #rbd rm {pool-name

    5.3K20

    认识存储:块、文件和对象

    现在,对于那些创建或消费数据的公司来说,处理数量巨大的生成数据是个非常大的挑战。而对于那些解决存储相关问题的科技公司来说,也是一个挑战。...块存储是数据存储的最古老形式,数据都存储在固定长度的块或多个块中。块存储适用于企业存储环境,并且通常使用光纤通道或 iSCSI 接口。...根据 SUSE 的软件定义存储高级产品经理 Larry Morris 的说法,“块存储要求一个应用去映射存储设备上存储数据块的位置。”...Jean 说“块存储将单个的存储卷(如一个虚拟或云存储节点、或一个老式硬盘)分割成单独的被称为块的实体。”...每个块独立存在,并且能够用它自己的数据传输协议和操作系统格式化 —— 给用户完全的配置自主权。由于块存储系统并不负责像文件存储系统那样的文件查找职责,所以,块存储是一个非常快的存储系统。

    2.7K10

    浅谈块存储的安全配置

    如果说对象存储Object Storage Service像云盘,而本文所说的块存储Block Storage是类似于机械硬盘、固态硬盘的“云硬盘”。...亚马逊方面在Elastic Compute Cloud (EC2)的实例的持久块存储称为Elastic Block Storage。...阿里云EBS是指为ECS云服务器提供的块设备,高性能、低时延,满足随机读写,可以像使用物理硬盘一样格式化、创建文件系统,可用于云硬盘、快照、模板。...在设计之初,主要关注的安全特性为: 存储空间由很多chunk(数据块)组成,分布式存储的方式使得某处chunk被窃取,也不会发生数据安全问题; 底层数据每个chunk通过三副本存储在集群中的不同节点上,...,而阿里云类似的共享块存储功能仍处于内部测试中,但是可以翻看API手册方便预测此类安全威胁。

    4.6K30
    领券